> ML_LITERATURE // PENG-2023-RWKV-REINVENTING-RNNS-TRANSFORMER-ERA_v1.0
RWKV: Reinventing RNNs for the Transformer Era
Bo Peng, Eric Alcaide, Quentin Anthony, Alon Albalak, Samuel Arcadinho, Huanqi Shen, Rui-Jie Zhu, Matteo Bartolo, Hao-Chen Song, Zhen-Yu Zhang, Evelina Xu, Médéric Boquien, Fei Chen, Gyu-Wan Kim, Haowen Hou, He-Ming Li, Jan Kocoń, Jiaming Kong, Linhai Ren, Liying Zheng, Marius Valdenegro-Toro, Nektarios Tsoutsos, Roberto Perez, Shitao Tang, Soufiane Guessous, Tomasz Szandala, Xuan-Shen Chen, Yong-Shuai Hou, Yuxuan Song, Zhen-Yu Chen, Zhi-Hao Lu, Zhi-Ming Zhao · Conference on Empirical Methods in Natural Language Processing (EMNLP) (2023)
Temel Katkı (Principal Contribution)
Transformer'ların paralelleştirilmiş eğitim avantajlarını RNN'lerin sabit zamanlı, sabit bellekli çıkarım verimliliğiyle birleştiren bir mimari (RWKV) tasarladı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir