> ML_LITERATURE // HENDRYCKS-2020-MEASURING-MASSIVE-MULTITASK-LANGUAGE-UNDERSTANDING-MMLU_v1.0
Measuring Massive Multitask Language Understanding (MMLU)
Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, Jacob Steinhardt · International Conference on Learning Representations (ICLR) (2020)
benchmark2020industry-standardartifactsAvailable
Temel Katkı (Principal Contribution)
STEM, beşeri bilimler, sosyal bilimler ve mesleki sınavlarda (hukuk, tıp) 57 konuyu kapsayan önde gelen multidisipliner bilgi kıyaslamasını oluşturdu.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation, task-knowledge-evaluation için dağıtım seçimlerini ve mimari belirlemeyi doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Değerlendirme alanları genelinde standart ampirik düzenlilik ve istatistiksel kararlılık geçerlidir
Kısıtlar ve Sınırlamalar (Limitations)
- Performans özellikleri alan dağılımına ve hesaplama tahsisi parametrelerine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: