> ML_LITERATURE // BROWN-2020-LANGUAGE-MODELS-ARE-FEW-SHOT-LEARNERS_v1.0
Language Models are Few-Shot Learners (GPT-3)
Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei · Advances in Neural Information Processing Systems (NeurIPS) (2020)
Temel Katkı (Principal Contribution)
Özbağlanımlı Transformer'ları 175B parametreye ölçeklendirerek gradyan güncellemeleri olmadan beliren bağlam içi az vuruşlu öğrenmeyi kurdu.
Operasyonel ve Mühendislik Uygunluğu
Modern üretici yapay zeka endüstrisini başlatarak istem mühendisliğini zeka için birincil yazılım arayüzü olarak kurdu.
Temel Varsayımlar (Assumptions)
- Güç yasası ampirik ölçekleme yasaları geçerlidir: daha fazla hesaplama ve veriye sahip daha büyük modeller öngörülebilir kayıp azalmaları sergiler
Kısıtlar ve Sınırlamalar (Limitations)
- Son derece yüksek sunum gecikmesi ve işlem ayak izi; insan hizalaması olmadan dalkavukluğa, yanlılığa ve makul yanlışlar üretmeye yatkındır