Skip to main content

> ML_KUTUPHANE // PEFT_v1.0

PEFT

Hugging Face — Büyük önceden eğitilmiş modeller için modern Parametre Verimli İnce Ayar (PEFT) yöntemleri.

nlp-llmv0.13.0Apache-2.0qualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Destekleniyor
Desteklenen Hızlandırıcılar:
CPUCUDAROCMMPSXPU
Dağıtık Eğitim (Distributed):Evet

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPUCUDAROCMMPS
Hedef Ortamlar (Targets):server

Neleri Sağlar (Ne Yapar)

  • +Temel LLM parametrelerinin %99'undan fazlasını dondurup hafif düşük dereceli matrisleri eğitme (LoRA, QLoRA, DoRA)
  • +Çıkarım gecikmesi ek yükü olmadan adaptör ağırlıklarını temel modele geri birleştirme
  • +Üretimde tek bir temel model üzerinde göreve özel birden fazla LoRA adaptörünü anında değiştirme (hot-swap)

Neleri Sağlamaz (Ne Yapmaz)

  • -Temel modelleri sıfırdan ön eğitme
  • -vLLM veya TGI olmaksızın yüksek verimli token sunumu sağlama
  • -PyTorch ve Transformers kurulu olmadan tek başına çalışma

>Uygun İş Tipleri

  • Tek bir GPU üzerinde 7B-70B açık ağırlıklı LLM'leri şirkete özel verilere uyarlama
  • Temel model VRAM'ini kopyalamadan kiracıya özel (multi-tenant) adaptörler dağıtma
  • Talimat ince ayarı (instruction-tuning) ve RLHF uyumlandırma boru hatları

>Uygun Olmayan İş Tipleri

  • Rastgele başlangıçla sıfırdan temel model ön eğitimi
  • Klasik tablo veri sınıflandırması
Veri Yerleşimi ve İkameti

Süreç içi GPU belleği. Küçük adaptör boyutları (10MB-100MB) uyumluluk denetimlerini kolaylaştırır.

Güvenlik Değerlendirmesi

PEFT, adaptör ağırlıklarını varsayılan olarak yalnızca SafeTensors formatında saklar.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:moderate
Operasyon Yükü:low
Maliyet Seviyesi:low
> Bilinen Kısıtlamalar:
  • Canlı çıkarım sırasında adaptör değişimi, özel sunucular (vLLM multi-LoRA) kullanılmadığında gecikme dalgalanmalarına neden olabilir.
  • Hiperparametreler (derece r, alpha, hedef modüller) dikkatli ampirik ayar gerektirir.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

gpu-oom-cascading-failuretraining-serving-skew

> Birincil Kanıt ve Doğrulama Kaynakları

Hugging Face PEFT Documentationofficial-docs • >=0.10.0, <=0.13.x
2026-09-25HIGH