> ML_LITERATURE // LEWIS-2020-RETRIEVAL-AUGMENTED-GENERATION-NLP_v1.0
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela · Advances in Neural Information Processing Systems (NeurIPS) (2020)
seminal-architecture2020industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Önceden eğitilmiş parametrik belleği (BART) parametrik olmayan yoğun vektör erişimiyle (Vikipedi üzerinde DPR) uçtan uca türetilebilir üretim modelinde birleştirdi.
Operasyonel ve Mühendislik Uygunluğu
task-question-answering, task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: