Skip to main content

> ML_KUTUPHANE // KSERVE_v1.0

KServe

Linux Foundation AI & Data / KServe Community — Kubernetes üzerinde standartlaştırılmış sunucusuz, bulut yerel model çıkarım platformu.

serving-inferencev0.13.1Apache-2.0qualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Desteklenmiyor

Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPUCUDAROCM
Hedef Ortamlar (Targets):server
Kuantizasyon Formatları:FP16, INT8 via underlying runtimes

Neleri Sağlar (Ne Yapar)

  • +Knative sıfıra ölçekleme ve GPU otomatik ölçekleme özellikli sunucusuz bulut yerel model sunumu
  • +Triton, TorchServe, vLLM ve MLServer genelinde standartlaştırılmış Açık Çıkarım Protokolü (v2 Veri Düzlemi)
  • +Istio servis ağı üzerinden kanarya dağıtımları, trafik bölme ve A/B geçişleri
  • +Entegre yük günlükleme, model açıklanabilirliği (Alibi/Captum) ve sapma tespiti

Neleri Sağlamaz (Ne Yapmaz)

  • -Doğrudan makine öğrenimi modelleri eğitme
  • -Kubernetes ve konteyner çalışma zamanları olmadan bağımsız tek düğümlü çıplak metalde çalışma
  • -Mobil uç mikrodenetleyicilere dağıtılma

>Uygun İş Tipleri

  • Sıfıra ölçekleme maliyet optimizasyonu ile yüzlerce farklı modeli barındıran kurumsal Kubernetes yapay zeka platformları
  • Canlı üretim trafiğinin %5'ini yeni bir aday model sürümüne aktaran kanarya dağıtımları
  • Triton ve vLLM kullanan farklı veri bilimi ekipleri genelinde çıkarım protokollerini standartlaştırma

>Uygun Olmayan İş Tipleri

  • Kubernetes altyapısı bulunmayan basit tek sunuculu Python dağıtımları
  • Keşif amaçlı veri bilimi prototiplemesi
Veri Yerleşimi ve İkameti

%100 özel şirket içi veya bulut VPC Kubernetes kümeniz içinde çalışır. Sıfır telemetri.

Güvenlik Değerlendirmesi

Apache-2.0 lisansı. Kubernetes RBAC, Istio karşılıklı TLS (mTLS) ve ağ izolasyon politikalarıyla güvenceye alınmıştır.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:expert
Operasyon Yükü:very-high
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
  • Yüksek operasyonel karmaşıklık: Kubernetes, Knative Serving, Istio ve Cert-Manager yönetimini gerektirir.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

runtime-oom-crash

> Birincil Kanıt ve Doğrulama Kaynakları

KServe Documentationofficial-docs • >=0.12.0, <=0.13.x
2026-09-25HIGH