> ML_LITERATURE // HENDRYCKS-2016-GAUSSIAN-ERROR-LINEAR-UNITS-GELU_v1.0
Gaussian Error Linear Units (GELUs)
Dan Hendrycks, Kevin Gimpel · arXiv preprint (2016)
algorithm2016industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Girdileri standart Gauss kümülatif dağılımı ile çarpan GELU aktivasyon fonksiyonunu formüle etti: x * Phi(x); ReLU tekilliğini pürüzsüzleştirdi.
Operasyonel ve Mühendislik Uygunluğu
Üretim sistemlerinde task-text-generation, task-multiclass-classification uygulaması için kanonik teknik referans olarak hizmet eder.
Temel Varsayımlar (Assumptions)
- Temel veri dağılımı eğitim alanları genelinde ampirik tutarlılık ve düzenlilik varsayımlarını sağlar
Kısıtlar ve Sınırlamalar (Limitations)
- Ölçekleme özellikleri ve doğruluk donanım mimarisine, parametre ölçeğine ve veri seti kalitesine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: