> ML_LITERATURE // LEPIKHIN-2020-GSHARD-SCALING-GIANT-MODELS-CONDITIONAL-COMPUTATION_v1.0
GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, Zhifeng Chen · International Conference on Learning Representations (ICLR) (2020)
systems2020industry-standardartifactsAvailable
Temel Katkı (Principal Contribution)
Binlerce TPU çekirdeğinde SPDM tensör dilimleme için otomatik derleyici ek açıklamaları ve Seyrek Geçitli MoE için kapasite kısıtlı top-2 geçitleme geliştirdi.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation, task-machine-translation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: