> ML_LITERATURE // HU-2021-LORA-LOW-RANK-ADAPTATION-LARGE-LANGUAGE-MODELS_v1.0
LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen · International Conference on Learning Representations (ICLR) (2021)
algorithm2021industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Ağırlık güncelleme matrislerini düşük rütbeli çarpımlara (W + BA, r << d) ayırarak eğitilebilir parametreleri 10.000 kat, GPU bellek gereksinimini 3 kat azalttı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: