> ML_LITERATURE // LEWIS-2020-BART-DENOISING-SEQUENCE-TO-SEQUENCE-PRETRAINING_v1.0
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, Luke Zettlemoyer · Annual Meeting of the Association for Computational Linguistics (ACL) (2020)
seminal-architecture2020industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Çift yönlü kodlayıcı ile otoregresif kod çözücüyü rastgele belge bozulmalarıyla eğitilen gürültü giderici dizi-dizi otomatik kodlayıcıda birleştirdi.
Operasyonel ve Mühendislik Uygunluğu
task-summarization, task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: