> ML_LITERATURE // GLOROT-BENGIO-2010-UNDERSTANDING-DIFFICULTY-TRAINING-DEEP-FEEDFORWARD-NEURAL-NETWORKS_v1.0
Understanding the difficulty of training deep feedforward neural networks (Xavier / Glorot Initialization)
Xavier Glorot, Yoshua Bengio · International Conference on Artificial Intelligence and Statistics (AISTATS) (2010)
foundational2010industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Derin katmanlar genelinde aktivasyon ve gradyan varyanslarını analiz etti; Xavier/Glorot başlatmasını önerdi: Var(W) = 2 / (fan_in + fan_out).
Operasyonel ve Mühendislik Uygunluğu
Üretim sistemlerinde task-multiclass-classification uygulaması için kanonik teknik referans olarak hizmet eder.
Temel Varsayımlar (Assumptions)
- Temel veri dağılımı eğitim alanları genelinde ampirik tutarlılık ve düzenlilik varsayımlarını sağlar
Kısıtlar ve Sınırlamalar (Limitations)
- Ölçekleme özellikleri ve doğruluk donanım mimarisine, parametre ölçeğine ve veri seti kalitesine bağlıdır