> ML_LITERATURE // BA-2016-LAYER-NORMALIZATION_v1.0
Layer Normalization
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton · arXiv preprint (2016)
algorithm2016industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Parti boyutundan bağımsız olarak bireysel örnekler için aktivasyonları özellik boyutu boyunca normalize etmeyi önerdi.
Operasyonel ve Mühendislik Uygunluğu
Her Transformer mimarisinde (BERT, GPT, T5 ve RMSNorm yoluyla LLaMA) uygulanan evrensel normalizasyon katmanı.
Temel Varsayımlar (Assumptions)
- Tek bir belirtecin/örneğin gizli özellikleri boyunca normalizasyon yapmak yinelemeli ve dikkat durum dinamiklerini stabilize eder
Kısıtlar ve Sınırlamalar (Limitations)
- Büyük statik partilere sahip saf ileri beslemeli görüntü ağlarında toplu normalizasyona göre biraz daha az etkilidir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: