> ML_LITERATURE // LIN-2022-TRUTHFULQA-MEASURING-HOW-MODELS-MIMIC-HUMAN-FALSEHOODS_v1.0
TruthfulQA: Measuring How Models Mimic Human Falsehoods
Stephanie Lin, Jacob Hilton, Owain Evans · Annual Meeting of the Association for Computational Linguistics (ACL) (2022)
benchmark2022foundationalartifactsAvailable
Temel Katkı (Principal Contribution)
LLM'lerden yaygın insan batıl inançlarını, yanılgılarını ve komplo teorilerini ortaya çıkarmak için tasarlanmış 38 kategoride 817 sorudan oluşan TruthfulQA'yı inşa etti.
Operasyonel ve Mühendislik Uygunluğu
task-question-answering için yetkili teorik ve ampirik referans olarak hizmet eder.
Temel Varsayımlar (Assumptions)
- Matematiksel dışbükeylik, düzenlilik ve ampirik tutarlılık problem konfigürasyonlarında geçerlidir
Kısıtlar ve Sınırlamalar (Limitations)
- Teorik sınırlar ve kıyaslama doygunluk özellikleri model mimarileri ve eğitim ölçekleri arasında farklılık gösterir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: