> ML_ARCHITECTURE // BIDIRECTIONAL-ENCODER-TRANSFORMER_v1.0
Bidirectional Encoder-Only Transformer (BERT / RoBERTa / DeBERTa)
Maskeli dil modellemesi yoluyla tüm belirteçlere eşzamanlı olarak çift yönlü koşullanan salt kodlayıcı mimari; gömmeler, sınıflandırma ve belirteç çıkarımı için altın standarttır.
Transformerstext
Tüm Mimarilere DönMimari Özeti ve Temel Özellikler
Maskeli dil modellemesi yoluyla tüm belirteçlere eşzamanlı olarak çift yönlü koşullanan salt kodlayıcı mimari; gömmeler, sınıflandırma ve belirteç çıkarımı için altın standarttır.
Temel Literatür (Seminal Papers)
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingJacob Devlin, Ming-Wei Chang (2018) · Conference of the North American Chapter of the Association for Computational Linguistics (NAACL)
Attention Is All You NeedAshish Vaswani, Noam Shazeer (2017) · Advances in Neural Information Processing Systems (NeurIPS)
Mimari Kısıtlar ve Sınırlamalar
- Verimli yürütme için uyumlu derin öğrenme çerçevesi ve donanım hızlandırıcısı gerektirir.