Greedy Function Approximation: A Gradient Boosting Machine

Güçlendirmeyi (boosting) fonksiyon uzayında sayısal gradyan inişi olarak çerçeveleyerek herhangi bir türevlenebilir kayıpla gradyan güçlendirmeyi sağladı.

XGBoost, LightGBM, CatBoost ve modern tablosal yarışmalı makine öğreniminin algoritmik temeli.

Temel Varsayımlar (Assumptions)

• Zayıf temel öğreniciler (karar ağaçları) herhangi bir kayıp fonksiyonunun sözde artıklarını yinelemeli olarak yaklaştırabilir

Kısıtlar ve Sınırlamalar (Limitations)

• Sıralı eğitim, bagging'e kıyasla paralel hale getirilmesi doğal olarak zordur; gürültülü hedef etiketlere karşı hassastır