Skip to main content

> ML_KUTUPHANE // RAGAS_v1.0

Ragas

Exploding Gradients — Geri Getirme Destekli Üretim (RAG) hatları için otomatik değerlendirme çerçevesi.

evaluation-observabilityv0.1.18Apache-2.0qualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Desteklenmiyor

Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPU
Hedef Ortamlar (Targets):server

Neleri Sağlar (Ne Yapar)

  • +Bileşen bazlı RAG metrikleri: Dayanaklılık/İnançlılık (halüsinasyon ölçümü), Cevap Uygunluğu, Bağlam Hassasiyeti ve Bağlam Geri Çağırma
  • +Uçtan uca metrikler: Cevap Anlamsal Benzerliği ve Cevap Doğruluğu
  • +Doğrudan ham kurumsal dokümanlardan çeşitli soru-cevap çiftleri oluşturan otomatik sentetik test kümesi üreticisi
  • +Yerel LLM'ler (Ollama, vLLM) ve ticari API'ler (OpenAI, Anthropic, Bedrock) ile uyumlu çalışma

Neleri Sağlamaz (Ne Yapmaz)

  • -Canlı vektör veritabanları barındırma veya doğrudan arama sorguları yürütme
  • -Nöral ağırlıkları eğitme veya C++ çekirdekleri derleme
  • -10ms altı gerçek zamanlı kullanıcı trafiğine hizmet verme

>Uygun İş Tipleri

  • Parçalama (chunking) ve gömme deneylerinde kurumsal RAG hatlarının sürekli kıyaslanması
  • Yeni bir vektör arama indeksini doğrulamak için dahili dokümantasyondan 500'den fazla çeşitli sentetik test sorusu üretme
  • Güncellemeleri üretime almadan önce CI/CD içinde RAG halüsinasyon oranlarını değerlendirme

>Uygun Olmayan İş Tipleri

  • Klasik tabüler makine öğrenimi (Evidently AI veya Deepchecks kullanın)
  • Gerçek zamanlı token başına üretim döngüleri
Veri Yerleşimi ve İkameti

Katı yalıtılmış veri yerleşimi uyumluluğu için tamamen yerel Ollama/vLLM uç noktalarıyla yapılandırılabilir.

Güvenlik Değerlendirmesi

Apache-2.0 lisansı. Kurumsal değerlendirme hatları için izin vericidir.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
  • Ticari LLM'ler (örn. hakem olarak GPT-4) kullanarak büyük test paketlerini değerlendirmek API token maliyetleri yaratır; yerel vLLM değerlendiricileri bu masrafı ortadan kaldırır.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

training-serving-skew

> Birincil Kanıt ve Doğrulama Kaynakları

Ragas Documentationofficial-docs • >=0.1.15, <=0.1.x
2026-09-25HIGH