Adaptive Subgradient Methods for Online Learning and Stochastic Optimization (AdaGrad)

Öğrenme oranlarını geçmiş karesel gradyanların toplamının kareköküyle ters orantılı olarak parametre başına uyarlayan ve seyrek özellik alanlarında üstün olan AdaGrad'ı icat etti.

Üretim sistemlerinde task-regression, task-text-classification uygulaması için yetkili referans olarak hizmet eder.

Temel Varsayımlar (Assumptions)

• Temel hesaplama topolojisi ve matematiksel sınırlar belirlenmiş dışbükeylik/pürüzsüzlük garantilerine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Donanım hızlandırmaları, gizlilik bütçeleri ve yakınsama hiperparametrelere ve ağ iletişim limitlerine bağlıdır