Skip to main content

> ML_KUTUPHANE // ACCELERATE_v1.0

Accelerate

Hugging Face — PyTorch modellerini çoklu GPU, TPU ve karma hassasiyetle eğitmek ve çalıştırmak için basit kütüphane.

deep-learningv0.34.2Apache-2.0qualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Destekleniyor
Desteklenen Hızlandırıcılar:
CPUCUDAROCMMPSXPUTPU
Dağıtık Eğitim (Distributed):Evet

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPUCUDAROCMMPS
Hedef Ortamlar (Targets):server

Neleri Sağlar (Ne Yapar)

  • +Aynı PyTorch kodunu asgari değişiklikle CPU, çoklu GPU (DDP), Apple MPS ve TPU'larda çalıştırma
  • +FSDP, DeepSpeed ve Megatron-LM yapılandırmalarını CLI ile kolayca başlatma
  • +Sınırlı VRAM'e sahip kartlarda büyük modelleri çalıştırmak için bellek aktarımı (device_map=auto)

Neleri Sağlamaz (Ne Yapmaz)

  • -Sinir ağı katmanları veya kayıp fonksiyonları uygulama (saf yürütme sarmalayıcısıdır)
  • -İstemci tarafı web tarayıcılarında çalışma
  • -vLLM veya TensorRT-LLM gibi çıkarım odaklı sunucuların yerini alma

>Uygun İş Tipleri

  • Tek bir GPU belleğini aşan büyük Hugging Face transformer modellerini çalıştırma
  • Farklı bulut kümelerinde çoklu GPU eğitim betiklerini standartlaştırma
  • PEFT ve DeepSpeed ile açık ağırlıklı LLM modellerine ince ayar yapma

>Uygun Olmayan İş Tipleri

  • Yüksek verimli canlı LLM sunumu (bunun yerine vLLM veya TGI kullanın)
  • Basit tablo makine öğrenimi işleri
Veri Yerleşimi ve İkameti

Süreç içi ana makine ve GPU belleği.

Güvenlik Değerlendirmesi

Python pickle açıklarından kaçınmak için SafeTensors formatını destekler.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:medium
> Bilinen Kısıtlamalar:
  • device_map=auto çıkarımı, katmanlar sistem RAM'ine taştığında CPU-GPU aktarım darboğazı yaşatır.
  • Tamamen PyTorch API'lerine bağımlıdır.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

gpu-oom-cascading-failurecuda-mismatch-silent-fallback

> Birincil Kanıt ve Doğrulama Kaynakları

Hugging Face Accelerate Documentationofficial-docs • >=0.28.0, <=0.34.x
2026-09-25HIGH