Skip to main content

> ML_ARCHITECTURE // STATE-SPACE-MODEL-MAMBA_v1.0

Selective State-Space Model (Mamba / Mamba-2)

Zamanla değişen seçici parametreler ve donanım duyarlı tarama algoritmaları içeren karesel altı dizi mimarisi; sabit bellekli çıkarım ve dizi uzunluğuyla doğrusal ölçekleme sağlar.

State Space Modelstextaudiotime-series
Tüm Mimarilere Dön

Mimari Özeti ve Temel Özellikler

Zamanla değişen seçici parametreler ve donanım duyarlı tarama algoritmaları içeren karesel altı dizi mimarisi; sabit bellekli çıkarım ve dizi uzunluğuyla doğrusal ölçekleme sağlar.

Uygulayıcı Kütüphaneler

PyTorchLinux Foundation / PyTorch Foundation · v2.4.1
İncele
Mamba (mamba-ssm)Albert Gu & Tri Dao / State Spaces Team · v2.2.4
İncele

Temel Literatür (Seminal Papers)

Mamba: Linear-Time Sequence Modeling with Selective State SpacesAlbert Gu, Tri Dao (2023) · arXiv preprint
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space DualityTri Dao, Albert Gu (2024) · International Conference on Machine Learning (ICML)
Mimari Kısıtlar ve Sınırlamalar
  • Verimli yürütme için uyumlu derin öğrenme çerçevesi ve donanım hızlandırıcısı gerektirir.