> ML_KUTUPHANE // BITSANDBYTES_v1.0
bitsandbytes
bitsandbytes Foundation / Tim Dettmers — 8-bit ve 4-bit kuantalama ile erişilebilir büyük dil modelleri.
privacy-security-optimizationv0.43.3MITqualified
Model Eğitimi (Training)
Desteklenen Hızlandırıcılar:
CPUCUDAROCMXPU
Dağıtık Eğitim (Distributed):Evet
Model Sunumu (Inference)
Inference Hızlandırıcıları:
CPUCUDAROCM
Hedef Ortamlar (Targets):server
Kuantizasyon Formatları:NF4 (NormalFloat4), FP4, LLM.int8()
Neleri Sağlar (Ne Yapar)
- +8-bit ve 4-bit matris çarpımı için özel CUDA çekirdekleri
- +Tüketici GPU'larında QLoRA ince ayarını mümkün kılan 4-bit NormalFloat (NF4) kuantalama
- +Optimizatör VRAM tüketimini %75 azaltan 8-bit AdamW ve Lion optimizatörleri
Neleri Sağlamaz (Ne Yapmaz)
- -Yüksek verimli toplu çıkarım token üretimi sağlama (üretim sunumu için vLLM içinde AWQ/GPTQ tercih edin)
- -CPU geri çekilmesi olmadan Apple Silicon MPS üzerinde yerel çalışma
- -Klasik karar ağaçları eğitme
>Uygun İş Tipleri
- QLoRA ile 48GB VRAM'de 70B model veya 12GB VRAM'de 7B model ince ayarı yapma
- Bellek kısıtlı yerel derin öğrenme geliştirme
- PyTorch eğitim döngülerinde 8-bit optimizatör entegrasyonu
>Uygun Olmayan İş Tipleri
- Büyük kurumsal canlı çıkarım kümeleri (vLLM gibi özel motorlar 3-5 kat daha hızlıdır)
- GPU bulunmayan bulut sunucuları
Veri Yerleşimi ve İkameti
Süreç içi GPU bellek (VRAM) alanı.
Güvenlik Değerlendirmesi
Doğrudan alt seviye CUDA bellek tahsisi; standart CUDA donanım izolasyonu geçerlidir.
Operasyonel Metrikler ve Bilinen Kısıtlar
Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
- Üretim anında dinamik 4-bit ters kuantalama işlemi yerel çıkarıma kıyasla gecikme ek yükü getirir.
- Sıkı CUDA sürüm derleme bağımlılıkları vardır.
İlişkili Üretim Arıza Paternleri (Incidentpedia)
Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:
> Birincil Kanıt ve Doğrulama Kaynakları
bitsandbytes Documentationofficial-docs • >=0.41.0, <=0.43.x
2026-09-25HIGH