> ML_ALGORITHM // XGBOOST-LIGHTGBM-CATBOOST_v1.0
Modern Histogram ve Simetrik Artırma (XGBoost / LightGBM / CatBoost)
İkinci derece Hessian optimizasyonları, histogram ayrıştırma ve GPU hızlandırma kullanan son teknoloji tablosal öğrenme motorları.
Tree & Rule Ensemblesclassical-supervisedmoderate-posthoclarge (>100k)
Tüm Algoritmalara DönHesaplama Karmaşıklığı
Eğitim (Training):O(n_trees * p * n_bins) via histogram splitting
Çıkarım (Inference):Sub-millisecond O(n_trees)
Donanım Karakteristiği
CPU Uygunluğu:Evet
GPU Zorunluluğu:Evet
Bellek Ayak İzi:moderate
Açıklanabilirlik ve Veri
Açıklanabilirlik Düzeyi:moderate-posthoc
Eğitim Verisi İhtiyacı:large (>100k)
Açıklanabilirlik Değerlendirmesi
Hızlı TreeSHAP algoritmaları milisaniyeler içinde kesin Shapley değerlerini hesaplar.
Uygun Görevler ve Desteklenen Modaliteler
Uygun Görevler:
binary classificationmulticlass classificationregressionranking
Desteklenen Modaliteler:
tabular
Uygulayıcı Kütüphaneler
Temel Literatür & Yayınlar
XGBoost: A Scalable Tree Boosting SystemTianqi Chen, Carlos Guestrin (2016) · ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD)
LightGBM: A Highly Efficient Gradient Boosting Decision TreeGuolin Ke, Qi Meng (2017) · Advances in Neural Information Processing Systems (NeurIPS)
CatBoost: unbiased boosting with categorical featuresLiudmila Prokhorenkova, Gleb Gusev (2018) · Advances in Neural Information Processing Systems (NeurIPS)
Sık Karşılaşılan Hatalar ve Dikkat Edilmesi Gerekenler
- CatBoost hedef kodlamasında çapraz doğrulama katmanları arasında veri sızıntısı
- Yüksek kardinaliteli özelliklerde aşırı derinlik nedeniyle bellek tükenmesi