Decoupled Weight Decay Regularization (AdamW)

Adam'da L2 düzenlileştirmesini gradyan güncellemelerinden ayırarak standart L2 cezasının uyarlanabilir optimize edicilerde başarısız olduğunu kanıtladı ve gerçek ağırlık azalmasını geri getirdi.

task-text-generation, task-image-classification için yetkili teorik ve ampirik referans olarak hizmet eder.

Temel Varsayımlar (Assumptions)

• Matematiksel dışbükeylik, düzenlilik ve ampirik tutarlılık problem konfigürasyonlarında geçerlidir

Kısıtlar ve Sınırlamalar (Limitations)

• Teorik sınırlar ve kıyaslama doygunluk özellikleri model mimarileri ve eğitim ölçekleri arasında farklılık gösterir