Robust Speech Recognition via Large-Scale Weak Supervision (Whisper)

Web'den toplanan 680.000 saatlik çok dilli, çok görevli ses üzerinde bir kodlayıcı-kod çözücü eğiterek gürültü ve aksanlarda insan düzeyinde sağlamlık elde etti.

task-speech-recognition, task-machine-translation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.

Temel Varsayımlar (Assumptions)

• Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir