> ML_LITERATURE // DETTMERS-2023-QLORA-EFFICIENT-FINETUNING-QUANTIZED-LLMS_v1.0
QLoRA: Efficient Finetuning of Quantized LLMs
Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer · Advances in Neural Information Processing Systems (NeurIPS) (2023)
algorithm2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
4-bit NormalFloat (NF4), Çift Kuantalama (DQ) ve Sayfalı Optimize Edicileri tanıtarak 65B modelin tek bir 48GB GPU üzerinde sıfır performans kaybıyla ince ayarlanmasını sağladı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: