> ML_LITERATURE // GU-2023-MAMBA-LINEAR-TIME-SEQUENCE-MODELING-SELECTIVE-STATE-SPACES_v1.0
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Albert Gu, Tri Dao · arXiv preprint (2023)
seminal-architecture2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Yapılandırılmış Durum Uzayı modellerine (S4) donanım duyarlı paralel birleştirici tarama ile zamanla değişen seçici mekanizmalar ekleyerek 5 kat yüksek çıkarım verimi ve doğrusal O(N) ölçekleme sağladı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation, task-feature-extraction için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir