> ML_DATASET // TRUTHFULQA-DATASET_v1.0
TruthfulQA: Measuring Model Imitation of Falsehoods
Oxford / Evans Lab (Lin et al. 2022) · Epistemic Truthfulness & Alignment · 817 adversarial questions across 38 categories (health, law, conspiracies, superstitions)
Epistemic Truthfulness & AlignmentApache-2.0817 adversarial questions across 38 categories (health, law, conspiracies, superstitions)open
Veri Profili ve Özellikler
Etiket Tipi:Multiple-choice and generation reference true/false answers
Diller:en
Lisans Seviyesi:permissive-open-source
Modaliteler:text
Amaçlanan Kullanım (Intended Use)
- Yüksek riskli alanlarda model doğruluğunu ve halüsinasyon duyarlılığını değerlendirme
Yasaklanan / Kaçınılması Gereken Kullanım
- Genel olgusal bilgi hatırlama kapasitesini değerlendirme
Önyargı, Veri Sızıntısı ve Gizlilik Risk Analizi
Kişisel Veri Riskleri (Privacy Risks):
Yaygın insan bilişsel yanılgılarını taklit etmek için tasarlanmış sorular; sıfır kişisel veri.
Bilinen Önyargılar (Known Bias):
Batıl inançlı yanlışlıkları kasten kışkırtan hedeflenmiş karşıt tasarım.
Veri Sızıntısı Riski (Known Leakage):
Hizalama modellerini ince ayarlarken kıyaslama arındırması gereklidir.