> ML_BENCHMARK // GSM8K-GRADE-SCHOOL-MATH_v1.0
GSM8K (Grade School Math Multi-step Reasoning)
Mathematical Reasoning · task-text-generation · near-saturation
Mathematical Reasoningnear-saturationmoderate
Değerlendirme Protokolü
1.319 test probleminde 8 örnekli düşünce zinciri üretimi ve ardından sayısal regex cevap çıkarımı.
Temel Model & Metrikler
Kanonik Temel (Baseline):GPT-3: 35.0% | GPT-4: 92.0% | DeepSeek-R1: 97.2%
Değerlendirilen Metrikler:
Strict Match Accuracy (%)
Eğitim Verisi Kirliliği ve Sızıntı
Öncü eğitim setlerinde yüksek kirlilik; istem ifadesi varyasyonları gerçek aritmetik genellemeyi test eder.
Tekrarlanabilirlik Endişeleri
Sayısal ayrıştırma regex'indeki küçük farklılıklar bildirilen puanları %1-2 değiştirebilir.
BAĞLANTILI VERİ KÜMESİGSM8K (Grade School Math 8K)Mathematical Reasoning & Code Generation · 8,500 grade school math word problems with step-by-step solutions
Veri Kümesini İncele