> ML_LITERATURE // SU-2021-ROFORMER-ENHANCED-TRANSFORMER-WITH-ROTARY-POSITION-EMBEDDING-ROPE_v1.0
RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE)
Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu · arXiv preprint (2021)
seminal-architecture2021industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Sorgu ve anahtar vektörlerini karmaşık 2D alt uzaylarında döndürerek göreceli konumsal bilgiyi kodlayan Döner Konum Gömme (RoPE) tekniğini icat etti.
Operasyonel ve Mühendislik Uygunluğu
Üretim sistemlerinde task-text-generation, task-long-context-inference uygulaması için kanonik teknik referans olarak hizmet eder.
Temel Varsayımlar (Assumptions)
- Temel veri dağılımı eğitim alanları genelinde ampirik tutarlılık ve düzenlilik varsayımlarını sağlar
Kısıtlar ve Sınırlamalar (Limitations)
- Ölçekleme özellikleri ve doğruluk donanım mimarisine, parametre ölçeğine ve veri seti kalitesine bağlıdır