> ML_LITERATURE // SRIVASTAVA-2014-DROPOUT-PREVENTING-NEURAL-NETWORKS-OVERFITTING_v1.0
Dropout: A Simple Way to Prevent Neural Networks from Overfitting
Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research (JMLR) (2014)
algorithm2014foundationalthirdPartyReproduced
Temel Katkı (Principal Contribution)
Eğitim sırasında birimlerin rastgele bırakılması özellik algılayıcılarının karmaşık ortak uyarlamalarını önler ve 2^N inceltilmiş ağın örtük bir topluluğu gibi davranır.
Operasyonel ve Mühendislik Uygunluğu
Derin öğrenmede evrensel düzenlileştirici ve üretimde MC-Dropout epistemik belirsizlik tahmini için temel mekanizma.
Temel Varsayımlar (Assumptions)
- Test zamanı ağırlıklarını tutma olasılığı p ile çarpmak, alt ağların kombinatoryal uzayındaki tahminleri tam olarak ortalar
Kısıtlar ve Sınırlamalar (Limitations)
- Yakınsama için gereken eğitim çağlarını 2-3 kat artırır; ön eğitim sırasında modern pre-LN Transformer'larda daha az kullanılır