Skip to main content

> ML_KUTUPHANE // BENTOML_v1.0

BentoML

BentoML — Uyarlanabilir mikro yığınlama ve konteynerleştirme özellikli yüksek performanslı model sunum çatısı.

serving-inferencev1.3.6Apache-2.0qualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Desteklenmiyor

Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPUCUDAROCMMPS
Hedef Ortamlar (Targets):server
Kuantizasyon Formatları:FP16, INT8 via ONNX/OpenVINO

Neleri Sağlar (Ne Yapar)

  • +Otomatik OpenAPI dokümantasyonuna sahip anahtar teslim üretim HTTP REST ve gRPC API sunumu
  • +GPU verimini maksimize etmek için eşzamanlı gelen istekleri dinamik olarak birleştiren uyarlanabilir mikro yığınlama
  • +Ön işleme, gömme ve sıralamayı izole çalışan havuzları arasında birbirine bağlayan çok modelli çıkarım hatları
  • +Optimize edilmiş, OCI uyumlu üretim Docker imajları oluşturan tek komutlu konteynerleştirme

Neleri Sağlamaz (Ne Yapmaz)

  • -Doğrudan makine öğrenimi modelleri eğitme
  • -Özelleşmiş dağıtık LLM vLLM PagedAttention çekirdeklerinin yerini doğrudan alma (OpenLLM üzerinden vLLM sarmalayabilmesine rağmen)
  • -İstemci tarafı web tarayıcısı korumalı alanlarında çalışma

>Uygun İş Tipleri

  • Çok modelli birleşik yapay zeka servisleri dağıtma (örn. OCR görüntü ön işleme + yerleşim tespiti + metin üretimi)
  • scikit-learn, XGBoost veya PyTorch modellerini 20ms altı gecikme ve yüksek eşzamanlılıkla sunma
  • Kurumsal Kubernetes dağıtımı için yapay zeka uygulamalarını standart OCI Docker konteynerlerine paketleme

>Uygun Olmayan İş Tipleri

  • Model eğitimi ve geri yayılım deneyleri
  • Saf istemci tarafı çevrimdışı mobil uygulamalar
Veri Yerleşimi ve İkameti

Yalnızca yerel olarak veya özel kurumsal Kubernetes kümelerinde çalışır. Sıfır bulut telemetrisi.

Güvenlik Değerlendirmesi

İzin verici ticari haklara sahip Apache-2.0 lisansı. Güvenliği sıkılaştırılmış, minimal üretim Docker konteynerleri üretir.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
  • Çok düğümlü Kubernetes kümelerini ölçeklendirmek, otomatik küme orkestrasyonu için Yatai dağıtmayı veya BentoCloud kullanmayı gerektirir.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

thread-pool-exhaustion

> Birincil Kanıt ve Doğrulama Kaynakları

BentoML Documentationofficial-docs • >=1.2.0, <=1.3.x
2026-09-25HIGH