> ML_LITERATURE // GU-DAO-2023-MAMBA-LINEAR-TIME-SEQUENCE-MODELING-SELECTIVE-STATE-SPACES_v1.0
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Albert Gu, Tri Dao · arXiv preprint (2023)
seminal-architecture2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Donanıma duyarlı paralel taramalı seçici durum uzayı modellerini (SSM) tanıtarak Transformer kalitesinde doğrusal zamanlı O(N) bağlam ölçeklemesi elde etti.
Operasyonel ve Mühendislik Uygunluğu
1M+ belirteç bağlam uzunluklarını mümkün kılan, Jamba, Falcon-Mamba ve genomik modellerde kullanılan temel dizi mimarisi.
Temel Varsayımlar (Assumptions)
- SSM durum geçiş matrislerini girdiye bağlı hale getirmek, donanım açısından verimli paralel taramaları korurken seçici bellek geçitlemesine izin verir
Kısıtlar ve Sınırlamalar (Limitations)
- Saf SSM'ler kesin ilişkisel hatırlama için tam karesel Transformer dikkatine göre daha düşük bellek kapasitesine sahiptir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: