> ML_LITERATURE // VASWANI-2017-ATTENTION-IS-ALL-YOU-NEED_v1.0
Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · Advances in Neural Information Processing Systems (NeurIPS) (2017)
seminal-architecture2017foundationalthirdPartyReproduced
Temel Katkı (Principal Contribution)
Yinelemeyi ve konvolüsyonları tamamen çok başlıklı öz dikkat ile değiştirerek Transformer mimarisini icat etti.
Operasyonel ve Mühendislik Uygunluğu
Modern yapay zekanın evrensel temel mimarisi: GPT, Claude, Gemini, LLaMA, ViT, Whisper ve AlphaFold.
Temel Varsayımlar (Assumptions)
- İkili belirteç etkileşimleri sıralı yineleme kısıtlamaları olmadan tüm bağlamsal dilsel bağımlılıkları modelleyebilir
Kısıtlar ve Sınırlamalar (Limitations)
- Öz dikkat belleği ve hesaplaması dizi uzunluğu N ile karesel O(N^2) olarak ölçeklenir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: