> ML_LITERATURE // ZHENG-2022-ALPA-AUTOMATING-INTER-AND-INTRA-OPERATOR-PARALLELISM_v1.0
Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning
Lianmin Zheng, Hao Zhang, Jiaxuan You, Chunan Shi, Zhihao Jia, Yangqing Jia, Ion Stoica, Joseph E. Gonzalez · USENIX Symposium on Operating Systems Design and Implementation (OSDI) (2022)
systems2022industry-standardnotAssessed
Temel Katkı (Principal Contribution)
Tamsayı doğrusal programlama kullanarak operatör içi ve operatörler arası ardışık düzen paralelliğinin optimal kombinasyonlarını keşfeden otomatik derleme çerçevesi.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için dağıtım seçimlerini ve mimari belirlemeyi doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Değerlendirme alanları genelinde standart ampirik düzenlilik ve istatistiksel kararlılık geçerlidir
Kısıtlar ve Sınırlamalar (Limitations)
- Performans özellikleri alan dağılımına ve hesaplama tahsisi parametrelerine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: