turkreason

TurkReason TurkReason**, büyük dil modellerinin (LLM) **Türkçe akıl yürütme** becerilerini ölçmek için tasarlanmış, **5107 çoktan seçmeli sorudan** oluşan bir benchmark veri kümesidir. Her soru 5 seçenekli (A–E), tek doğru cevaplı ve detaylı açıklamalıdır. Bu dataset bilgi (knowledge) değil, **düşünme** (reasoning) ölçer. Sorular ezberden değil, çıkarım, analiz, problem çözme ve karar verme becerisinden cevaplanmak üzere üretilmiştir. Amaç Mevcut Türkçe değerlendirme setlerinin çoğu ya İngilizce çevirisi (MMLU-tr, ARC-tr) ya da bilgi ağırlıklıdır. TurkReason aşağıdaki boşluğu doldurmak için kuruldu: **Akıl yürütme odaklı** — sorular ezber yerine syllogism, hipotez kurma, neden-sonuç, çıkarım gibi düşünme becerilerini ölçer. **Türkçe yerelleştirilmiş** — Türk isimleri, şehirleri, TL, TCMB, TSE standartları, Türk hukuku ve tarihi gibi yerel bağlam. **12 farklı reasoning kategorisi** — mantık, matematik, okuduğunu anlama, bilim, hukuk, ekonomi, mühendislik, etik, günlük hayat, tarih, veri yorumlama ve dil. **Dengeli cevap dağılımı** — her seçenek (A–E) ~%20 oranında doğru cevap olarak dağıtılmıştır (post-process aşamasında deterministik olarak shuffle edildi), böylece pozisyon-tabanlı tahmin (örn. her zaman B demek) avantaj sağlamaz. Hızlı kullanım Veri alanları | Alan | Tip | Açıklama | |------|-----|----------| | `question_id` | string | `turkreason-XXXXX` formatında benzersiz kimlik | | `category` | string | 12 ana kategoriden biri (aşağıdaki tabloya bakın) | | `subcategory` | string | Kategori içi alt tür | | `question` | string | Türkçe soru metni | | `options` | list[string] | 5 seçenek, `"A) ..."` ... `"E) ..."` formatında | | `answer` | string | Doğru cevabın harfi (`A`–`E`) | | `answer_index` | int | Doğru cevabın 0-tabanlı indeksi (0–4) | | `explanation` | string | Cevabın neden doğru olduğunu açıklayan Türkçe metin | | `difficulty` | string | `easy`, `medium`, `hard` | | `num_options` | int | Her zaman 5 | | `source` | string | Veri kaynağı | | `language` |