Kanonik Mühendislik Kılavuzu #06|TinyCTO RAG Bible
Değerlendirme, Kıyaslama ve Gözlemlenebilirlik
Temel RAG Üçlüsü metrikleri, otomatik LLM hakemleri, PPI istatistiksel güven aralıkları ve OpenTelemetry izleme.
Kanonik Onaylı 13 min
#1. Temel RAG Üçlüsü (The RAG Triad)
RAG sistemlerinin doğru değerlendirilmesi, getirme doğruluğunun üretim kalitesinden bağımsız olarak ölçülmesini gerektirir:
- Bağlam Hassasiyeti / Alaka Düzeyi: İşlem hattı doğrudan sorguyla ilgili pasajları getirdi mi?
- Dayanaklılık / Doğruluk (Faithfulness): Yanıttaki her iddia getirilen bağlam tarafından mantıksal olarak destekleniyor mu?
- Yanıt Alaka Düzeyi: Yanıt, ilgisiz konulara sapmadan kullanıcının sorusuna doğrudan cevap veriyor mu?
#2. Titiz Değerlendirme Metodolojileri
- Tahmin Destekli Çıkarım (Prediction-Powered Inference - PPI): Küçük bir insan etiketli veri kümesini makine tahminleriyle birleştirerek istatistiksel güven aralıkları hesaplar.
- Sentetik Test Üretimi: Sistemleri stres testine tabi tutmak için ham kaynaklardan çok adımlı ve yanıtı olmayan sorular üretir.
- Dağıtık Telemetri: Her bileşeni OpenTelemetry izleme span'leri ile donatarak gecikme ve maliyet profilini gerçek zamanlı izler.