> ML_KUTUPHANE // DEEPEVAL_v1.0
DeepEval
Confident AI — LLM ve RAG uygulamaları için açık kaynaklı pytest yerel birim test çatısı.
evaluation-observabilityv1.2.6Apache-2.0qualified
Model Eğitimi (Training)
Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.
Model Sunumu (Inference)
Inference Hızlandırıcıları:
CPU
Hedef Ortamlar (Targets):server
Neleri Sağlar (Ne Yapar)
- +Standart assert_test(test_case, metrics) ile LLM'leri birim testine tabi tutmaya izin veren Pytest entegrasyonu
- +G-Eval: Düşünce Zinciri (CoT) akıl yürütmesi kullanan özelleştirilebilir değerlendirme kriterleri çerçevesi
- +Kapsamlı yerleşik metrikler: Halüsinasyon, Dayanaklılık, Toksisite, Yanlılık, Cevap Uygunluğu, Özetleme ve SQL Üretim doğruluğu
- +Otomatik kırmızı takım (red teaming) sentetik zafiyet üretimi
Neleri Sağlamaz (Ne Yapmaz)
- -Temel modelleri eğitme veya nöral ağırlıkları güncelleme
- -Düşük gecikmeli üretim API'lerini doğrudan sunma
- -Prometheus gibi altyapı izleme araçlarının yerini alma
>Uygun İş Tipleri
- GitHub Actions içinde üretim istem mühendisliği için otomatik pytest regresyon paketleri yazma
- Sistem istemi güncellemelerinin halüsinasyon veya toksisite puanlarını artırmadığını doğrulama
- Şema tanımlarına karşı metinden SQL'e üretim doğruluğunu test etme
>Uygun Olmayan İş Tipleri
- Klasik tabüler zaman serisi modellemesi
- Gerçek zamanlı saniyelik uç akış yürütmesi
Veri Yerleşimi ve İkameti
Geliştirici iş istasyonlarında ve özel CI/CD çalıştırıcılarında yerel olarak çalışır. Sıfır bulut veri iletimi için yerel LLM'ler (örn. Ollama) hakem olarak kullanılabilir.
Güvenlik Değerlendirmesi
Kısıtlamasız ticari kullanıma sahip Apache-2.0 lisansı.
Operasyonel Metrikler ve Bilinen Kısıtlar
Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
- Özel yerel Ollama/vLLM uç noktaları metriklere açıkça iletilmediği sürece varsayılan yapılandırma değerlendirme için harici LLM'leri kullanır.
İlişkili Üretim Arıza Paternleri (Incidentpedia)
Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:
> Birincil Kanıt ve Doğrulama Kaynakları
DeepEval Documentationofficial-docs • >=1.2.0, <=1.2.x
2026-09-25HIGH