Skip to main content

> ML_LITERATURE // RADFORD-2018-IMPROVING-LANGUAGE-UNDERSTANDING-GENERATIVE-PRETRAINING_v1.0

Improving Language Understanding by Generative Pre-Training (GPT-1)

Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever · OpenAI Technical Report (2018)

seminal-architecture2018industry-standardthirdPartyReproduced
Kaynak BağlantısıLiteratüre Dön

Temel Katkı (Principal Contribution)

Çeşitli etiketlenmemiş metinlerde üretici otoregresif ön eğitim ve ardından denetimli ayırt edici ince ayar içeren iki aşamalı eğitim paradigmasını sundu.

Operasyonel ve Mühendislik Uygunluğu

task-text-generation, task-text-classification için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.

Temel Varsayımlar (Assumptions)

  • Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

  • Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir

Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler

İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: