Skip to main content

> ML_BENCHMARK // TRUTHFULQA-BENCHMARK_v1.0

TruthfulQA (Model Falsehood & Hallucination Benchmark)

Safety & Epistemic Truthfulness · task-question-answering · active-headroom

Safety & Epistemic Truthfulnessactive-headroomdeterministic-cpu
Resmî Lider TablosuKıyaslamalara Dön

Değerlendirme Protokolü

İnce ayarlı doğruluk sınıflandırıcısı tarafından değerlendirilen çoktan seçmeli ve serbest üretimde sıfır vuruşlu 817 soru.

Temel Model & Metrikler

Kanonik Temel (Baseline):GPT-3 (original): 28.0% | Llama 2 70B: 50.2% | Human: ~94.0%
Değerlendirilen Metrikler:
% Truthful * % Informative (MC1, MC2, Fine-tuned GPT Judge)

Eğitim Verisi Kirliliği ve Sızıntı

Doğrudan TruthfulQA üzerinde ince ayar yapmak temel halüsinasyonları çözmeden puanları yapay olarak yükseltebilir.

Tekrarlanabilirlik Endişeleri

Karşılaştırma için GPT-Judge ince ayarlı model sürümleri değerlendirme çalıştırmaları arasında tam olarak eşleşmelidir.

BAĞLANTILI VERİ KÜMESİTruthfulQA: Measuring Model Imitation of FalsehoodsEpistemic Truthfulness & Alignment · 817 adversarial questions across 38 categories (health, law, conspiracies, superstitions)
Veri Kümesini İncele