> ML_LITERATURE // KINGMA-BA-2014-ADAM-METHOD-FOR-STOCHASTIC-OPTIMIZATION_v1.0
Adam: A Method for Stochastic Optimization
Diederik P. Kingma, Jimmy Ba · International Conference on Learning Representations (ICLR) (2014)
algorithm2014industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
RMSProp'un uyarlanabilir öğrenme oranlarını SGD'nin momentumu ile birleştirdi ve birinci ve ikinci momentler için yanlılık düzeltmelerini dahil etti.
Operasyonel ve Mühendislik Uygunluğu
Dünya çapında tüm derin öğrenme ve dil modeli eğitim hatlarında evrensel varsayılan optimize edici.
Temel Varsayımlar (Assumptions)
- Gradyan momentleri üstel azalan hareketli ortalamalar yoluyla tahmin edilebilir; koordinatlar yarı bağımsız ele alınır
Kısıtlar ve Sınırlamalar (Limitations)
- Ayarlanmış momentumlu SGD'ye kıyasla görüntü görevlerinde optimal düz minimumlara yakınsamada başarısız olabilir; ağırlık azalması için AdamW gerektirir