> ML_LITERATURE // SUN-2023-RETENTIVE-NETWORK-SUCCESSOR-TO-TRANSFORMER_v1.0
Retentive Network: A Successor to Transformer for Large Language Models (RetNet)
Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyuan Wang, Furu Wei · arXiv preprint (2023)
seminal-architecture2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Üç hesaplama temsilini (eğitim için paralel, düşük gecikmeli çıkarım için tekrarlayan ve uzun diziler için öbekli) destekleyen tutma (retention) mekanizmasını sundu.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: