Skip to main content

> ML_KUTUPHANE // PROMPTFOO_v1.0

promptfoo

promptfoo — İstem mühendisliği, kırmızı takım testleri ve LLM değerlendirmesi için geliştirici öncelikli CLI ve CI/CD test aracı.

evaluation-observabilityv0.90.1MITqualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Desteklenmiyor

Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPU
Hedef Ortamlar (Targets):server

Neleri Sağlar (Ne Yapar)

  • +İstemleri yüzlerce test senaryosu ve iddiaya karşı test eden bildirimsel YAML tabanlı test paketleri
  • +Jailbreak, istem enjeksiyonu, PII sızıntısı ve SSRF zafiyetlerini tespit eden otomatik LLM kırmızı takım (red teaming) araçları
  • +Sağlayıcılar (OpenAI, Anthropic, Bedrock, Ollama, HuggingFace) genelinde çıktıları karşılaştıran yerel değerlendirme arayüzü
  • +Anahtar teslim iddia türleri: anlamsal benzerlik, regex, JSON şema doğrulaması, JavaScript fonksiyonları, hakem olarak LLM

Neleri Sağlamaz (Ne Yapmaz)

  • -Nöral model ağırlıklarını eğitme veya ince ayar yapma
  • -Üretim modeli sunan bir ters proxy olarak hareket etme
  • -Tabüler veritabanı satırlarını işleme

>Uygun İş Tipleri

  • CI/CD içinde jailbreak zafiyetlerine karşı üretken yapay zeka sohbet botlarını denetleyen otomatik güvenlik taramaları
  • GPT-4o, Claude 3.5 Sonnet ve yerel Llama 3 arasında model maliyeti ve doğruluk ödünleşimlerini karşılaştırma
  • Sistem istemi revizyonlarının gerekli JSON çıktı şemalarını koruduğunu doğrulayan sürekli regresyon testleri

>Uygun Olmayan İş Tipleri

  • Klasik istatistiksel veri analizi
  • Ses dalga formu manipülasyonu
Veri Yerleşimi ve İkameti

%100 yerel olarak çalışır. Sıfır veri sızıntısı için testler dahili Ollama veya vLLM uç noktalarını sorgulayabilir.

Güvenlik Değerlendirmesi

İzin verici MIT lisansı. Temiz Node.js / TypeScript kod tabanı.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
  • Onlarca istem ve model üzerinde devasa matris değerlendirmeleri çalıştırmak, eşzamanlılık sınırlandırılmadıkça (maxConcurrency bayrağı) API hız limitlerini tetikleyebilir.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

training-serving-skew

> Birincil Kanıt ve Doğrulama Kaynakları

promptfoo Documentationofficial-docs • >=0.85.0, <=0.90.x
2026-09-25HIGH