> ML_LITERATURE // IOFFE-SZEGEDY-2015-BATCH-NORMALIZATION_v1.0
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Sergey Ioffe, Christian Szegedy · International Conference on Machine Learning (ICML) (2015)
algorithm2015foundationalthirdPartyReproduced
Temel Katkı (Principal Contribution)
Katman aktivasyonlarının mini-parti normalizasyonunu tanıtarak daha yüksek öğrenme oranlarını mümkün kıldı ve güçlü bir düzenlileştirici olarak davrandı.
Operasyonel ve Mühendislik Uygunluğu
Konvolüsyonel mimarilerde standart bileşen; katmanlar genelinde aktivasyon normalizasyonunun önemini vurguladı.
Temel Varsayımlar (Assumptions)
- Mini partiler genelinde girdileri sıfır ortalama ve birim varyansa normalize etmek gradyan akışını stabilize eder ve kayıp peyzajını pürüzsüzleştirir
Kısıtlar ve Sınırlamalar (Limitations)
- Mini-parti boyutuna bağımlıdır; NLP'deki batch_size=1 veya değişken dizi uzunlukları altında çöker (LayerNorm ile çözülür)