> ML_LITERATURE // RAJBHANDARI-2020-ZERO-MEMORY-OPTIMIZATIONS-TOWARD-TRAINING-TRILLION-PARAMETER-MODELS_v1.0
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
Samyam Rajbhandari, Jeff Rasley, Olatunji Ruwase, Yuxiong He · IEEE/ACM International Conference on High Performance Computing (SC20) (2020)
systems2020industry-standardartifactsAvailable
Temel Katkı (Principal Contribution)
Optimize edici durumlarını, gradyanları ve model parametrelerini veri paralel sıraları arasında bölüştüren Sıfır Artıklık Optimize Edicisini (ZeRO) tanıttı.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için dağıtım seçimlerini ve mimari belirlemeyi doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Değerlendirme alanları genelinde standart ampirik düzenlilik ve istatistiksel kararlılık geçerlidir
Kısıtlar ve Sınırlamalar (Limitations)
- Performans özellikleri alan dağılımına ve hesaplama tahsisi parametrelerine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: