> ML_ARCHITECTURE // SEQ2SEQ-ENCODER-DECODER-TRANSFORMER_v1.0
Sequence-to-Sequence Encoder-Decoder Transformer (T5 / BART / Whisper)
Çift yönlü bir kodlayıcıyı kodlayıcı temsillerine çapraz dikkat uygulayan otoregresif bir kod çözücüyle eşleştiren klasik dizi-dizi mimarisi; çeviri, özetleme ve konuşma için idealdir.
Transformerstextaudio
Tüm Mimarilere DönMimari Özeti ve Temel Özellikler
Çift yönlü bir kodlayıcıyı kodlayıcı temsillerine çapraz dikkat uygulayan otoregresif bir kod çözücüyle eşleştiren klasik dizi-dizi mimarisi; çeviri, özetleme ve konuşma için idealdir.
Uygulayıcı Kütüphaneler
Temel Literatür (Seminal Papers)
Attention Is All You NeedAshish Vaswani, Noam Shazeer (2017) · Advances in Neural Information Processing Systems (NeurIPS)
Exploring the Limits of Transfer Learning with a Unified Text-to-Text TransformerColin Raffel, Noam Shazeer (2020) · Journal of Machine Learning Research (JMLR)
Robust Speech Recognition via Large-Scale Weak Supervision (Whisper)Alec Radford, Jong Wook Kim (2022) · arXiv preprint
Mimari Kısıtlar ve Sınırlamalar
- Verimli yürütme için uyumlu derin öğrenme çerçevesi ve donanım hızlandırıcısı gerektirir.