Lecture 6.5 - RMSProp: Divide the gradient by a running average of its recent magnitude

Karesel gradyanların üstel olarak azalan hareketli ortalamasını tutarak AdaGrad'ın sönen öğrenme oranı sorununu çözdü.

Üretim sistemlerinde task-text-generation, task-image-classification uygulaması için yetkili referans olarak hizmet eder.

Temel Varsayımlar (Assumptions)

• Temel hesaplama topolojisi ve matematiksel sınırlar belirlenmiş dışbükeylik/pürüzsüzlük garantilerine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Donanım hızlandırmaları, gizlilik bütçeleri ve yakınsama hiperparametrelere ve ağ iletişim limitlerine bağlıdır