> ML_LITERATURE // AINSLIE-2023-GQA-TRAINING-GENERALIZED-MULTI-QUERY-TRANSFORMER_v1.0
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, Sumit Sanghai · Conference on Empirical Methods in Natural Language Processing (EMNLP) (2023)
algorithm2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Çoklu Başlık Dikkati (MHA) ile Çoklu Sorgu Dikkati (MQA) arasında gruplandırılmış anahtar-değer kümeleriyle enterpolasyon yaparak model kalitesini koruyan Grouped-Query Attention (GQA) sundu.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: