Skip to main content

> ML_LITERATURE // DEVLIN-2018-BERT-PRE-TRAINING-DEEP-BIDIRECTIONAL-TRANSFORMERS_v1.0

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · Conference of the North American Chapter of the Association for Computational Linguistics (NAACL) (2018)

seminal-architecture2018industry-standardthirdPartyReproduced
arXiv:1810.04805Literatüre Dön

Temel Katkı (Principal Contribution)

Maskelenmiş Dil Modellemesi (MLM) ve Sonraki Cümle Tahmini (NSP) aracılığıyla derin çift yönlü Transformer ön eğitimini tanıttı.

Operasyonel ve Mühendislik Uygunluğu

Google Arama ve Elasticsearch'te anlamsal arama, pasaj yeniden sıralama, niyet sınıflandırması ve NER için küresel kurumsal standart.

Temel Varsayımlar (Assumptions)

  • Soldan sağa ve sağdan sola bağlamdan çift yönlü koşullandırma, tek başına soldan sağa göre daha zengin anlamsal temsiller sağlar

Kısıtlar ve Sınırlamalar (Limitations)

  • Yalnızca kodlayıcı mimari açık uçlu üretici özbağlanımlı metin tamamlama gerçekleştiremez

Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler

İlgili Algoritmalar:
Maskelenmiş Dil Modellemesi (MLM / BERT)
İlgili Mimariler:
Uygulayıcı Kütüphaneler: