> ML_LITERATURE // DAO-2024-TRANSFORMERS-ARE-SSMS-MAMBA2_v1.0
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Tri Dao, Albert Gu · International Conference on Machine Learning (ICML) (2024)
seminal-architecture2024industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Seçici durum uzayı modelleri ile maskeli doğrusal dikkat arasındaki resmi teorik denkliği kanıtlayan Yapılandırılmış Durum Uzayı İkiliğini (SSD) kurarak Tensor Çekirdeği matris çarpımını açtı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir