Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Her token'ı tam olarak tek bir uzmana yönlendirerek (Top-1 yönlendirme) MoE yönlendirmesini basitleştirdi, iletişim yükünü azalttı ve modelleri 1.6 trilyon parametreye ölçekledi.

task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.

Temel Varsayımlar (Assumptions)

• Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir