> ML_LITERATURE // LOSHCHILOV-HUTTER-2019-DECOUPLED-WEIGHT-DECAY-REGULARIZATION-ADAMW_v1.0
Decoupled Weight Decay Regularization
Ilya Loshchilov, Frank Hutter · International Conference on Learning Representations (ICLR) (2019)
algorithm2019industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Uyarlanabilir optimize edicilerde L2 düzenlileştirmesinin ağırlık azalmasından temelde farklı olduğunu gösterdi; ayrılmış ağırlık azalması genellemeyi geri kazandırdı.
Operasyonel ve Mühendislik Uygunluğu
AdamW GPT-3, LLaMA, Mistral, BERT ve tüm modern temel modelleri eğitmek için kullanılan zorunlu optimize edicidir.
Temel Varsayımlar (Assumptions)
- Ağırlık azalması güncellemelerini gradyana bağlı uyarlanabilir adım boyutlarından ayırmak, sık özelliklerdeki küçülme bozulmasını önler
Kısıtlar ve Sınırlamalar (Limitations)
- Açık ayar gerektiren bağımsız bir ağırlık azalması hiperparametresi sunar