> ML_LITERATURE // RAFFEL-2020-EXPLORING-LIMITS-TRANSFER-LEARNING-T5_v1.0
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research (JMLR) (2020)
seminal-architecture2020industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
C4 üzerinde aralık bozulmasıyla önceden eğitilmiş bir kodlayıcı-kod çözücü Transformer kullanarak tüm NLP görevlerini ortak bir metinden metne biçiminde birleştirdi.
Operasyonel ve Mühendislik Uygunluğu
Kurumsal belge özetleme, çıkarma, soru yanıtlama ve FLAN talimat ayarlı modeller için standart mimari.
Temel Varsayımlar (Assumptions)
- Herhangi bir NLP görevi girdi olarak metin alan ve çıktı olarak hedef metin üreten bir formatta yapılandırılabilir
Kısıtlar ve Sınırlamalar (Limitations)
- Kodlayıcı-kod çözücü mimariler üretilen her belirteç için tam kodlayıcı çapraz dikkati çalıştırmayı gerektirir, saf nedensel kod çözücülerden daha yüksek gecikmeye neden olur