> tpl_aim_024
Model İzleme, Veri Kayması ve Performans Planı
Veri dağılımı kaymasını (data drift), kavram kaymasını (concept drift), özellik önem kaymalarını (SHAP), tahmin gecikmesi bozulmalarını ve otomatik yeniden eğitim alarm tetikleyicilerini tespit eden sürekli canlı model izleme protokolü.
Eşdeğişken veri kaymasını, kavram kaymasını, özellik önem kararlılığını izleyen ve otomatik yeniden eğitimi tetikleyen canlı model gözlemlenebilirlik planı.
Önemli Teknik Doküman Şablonu ve Hukuki Uyarı
TinyCTO.tv Teknik Doküman Şablon Bildirimi: Bu şablon genel eğitim ve operasyon amaçlı bir başlangıç materyalidir. Hukuki, vergisel, muhasebesel, yatırım, satın alma, mevzuat, güvenlik veya sertifikasyon danışmanlığı değildir. Gereklilikler ülkeye, kuruma, sözleşmeye ve riske göre değişir. Kullanmadan önce yetkin uzmanlarla gözden geçirip uyarlayın.
Çözülen Üretim Problemi
Gerçek dünya tüketici davranışları değiştikçe modeller sessizce çürür; geleneksel sistem izleme araçları (CPU/RAM) yeşil görünürken tahminlerin tamamen hatalı çıkması ağır iş kayıplarına yol açar.
Ne Zaman Kullanılmalı?
- •Canlı makine öğrenimi modelleri ve öneri motorları için sürekli gözlemlenebilirlik kurarken
- •Popülasyon Kararlılık Endeksi (PSI) ve KS testleri ile özellik dağılım kaymalarını (covariate shift) tespit ederken
- •Geçici veri boru hattı bozulması, veri kayması ve temel kavram kayması arasındaki farkı belirlerken
Ne Zaman Kullanılmamalı?
- •Makine öğrenimi içermeyen saf teknik altyapı CPU/disk izlemesinde (TPL-ARC-013 kullanın)
- •Statik doğrulama setleri üzerinde canlı öncesi model değerlendirmesinde (TPL-AIM-020 kullanın)
5 Şablon Bölümü ve Yapısal İskelet
Veri Kayması (P(X) değişir), Kavram Kayması (X ile Y ilişkisi P(Y|X) değişir) ve Boru Hattı Hataları (bozuk birleştirmeler, eksik birimler) ayrımı.
Popülasyon Kararlılık Endeksi (PSI < 0,1 kararlı, 0,1-0,2 orta, > 0,2 kritik), Kolmogorov-Smirnov (KS) testi, Wasserstein ve Jensen-Shannon.
Gerçekleşen sonuçlar aylar sonra geldiğinde (kredi temerrüdü, churn) model izleme: tahmin dağılım entropisi, anomali skorları ve olasılık kayması.
Karar mantığındaki değişimleri yakalamak ve adalet sürekliliğini sağlamak için zaman içinde küresel ve yerel SHAP değerlerini izleme.
Kademeli alarmlar (Slack bildirimi, PagerDuty çağrısı, Kubeflow yeniden eğitim tetikleyicisi), yanlış alarm filtreleme ve DAG başlatma.
Doldurma ve Uygulama Yönergeleri
Bağımsız İnceleme ve Onay Kontrol Listesi
- Tüm zorunlu bölümler dolduruldu
- Gizli anahtar veya parola içermiyor
- Yönetici sponsor onayı alındı
Model İzleme, Veri Kayması ve Performans Planı - Örnek Vaka Analizi
Örnek Organizasyon: Sovereign Payments Gerçek Zamanlı Sahtecilik Modeli Gözlemlenebilirlik ve Kayma Sistemi
Sovereign Payments Gerçek Zamanlı Sahtecilik Modeli Gözlemlenebilirlik ve Kayma Sistemi için eksiksiz operasyonel uygulamayı gösteren gerçek dünya vaka analizi.
- •Canlı işlem akışındaki tahmin entropisi kaymasıyla Black Friday kavram kayması 45 dakika içinde tespit edildi
- •140 özellik üzerinde otomatik PSI hesaplaması yapılarak üst veri hattındaki bozuk kategori kodu (MCC) hatası yakalandı
- •3 ardışık gün boyunca doğrulanan veri kayması sonrasında otomatik Kubeflow sürekli eğitim boru hattı tetiklendi
Sıkça Sorulan Sorular
Veri Kayması (Data Drift) ile Kavram Kayması (Concept Drift) arasındaki kritik fark nedir?
Veri Kayması (Eşdeğişken Kayması), girdi özelliklerinin dağılımı P(X) değiştiğinde ancak girdi ile hedef arasındaki ilişki P(Y|X) sabit kaldığında oluşur (örn. indirim döneminde kullanıcıların daha çok elektronik alması). Kavram Kayması ise girdiler ile hedef arasındaki temel matematiksel ilişkinin P(Y|X) kendisinin değişmesidir (örn. pandemi kısıtlamalarında seyahat harcamalarının kredi geri ödeme gücünü tahmin etmeyi tamamen bırakması).
Popülasyon Kararlılık Endeksi (PSI) nedir ve nasıl yorumlanır?
PSI, bir değişkenin referans taban çizgisi (eğitim verisi) ile canlı üretim verisi arasındaki dağılım farkını ölçer. PSI < 0,1 ihmal edilebilir farkı (kararlı) gösterir. 0,1 <= PSI < 0,2 orta düzeyde değişimi (yakın takip gerekir) ifade eder. PSI >= 0,2 ise yeniden eğitim veya veri hattı incelemesi gerektiren ciddi bir dağılım kaymasını gösterir.
MLOps ekipleri zaman içinde SHAP önem değerlerini neden izlemelidir?
Yalnızca ham girdileri izlemek veri kaymasını yakalar. SHAP değerlerini izlemek ise modelin karara varırken bu özellikleri nasıl kullandığını doğrular. Girdi dağılımı normalken bir özelliğin karar katkısı aniden fırlarsa, model yapay bir kestirme yol bulmuş veya sahte korelasyonları büyütmeye başlamış olabilir.
Teknik Doküman Şablon Paketi
Giriş GerekliTüm boş şablonları, işlenmiş senaryoları ve doğrulama manifestolarını tek bir arşivde indirin.
Yetkili Standartlar ve Kaynaklar
- Evidently AI: Open-Source Machine Learning MonitoringEvidently AI • OFFICIAL REQUIREMENT
- A Survey on Concept Drift Adaptation (ACM Computing Surveys)ACM • OFFICIAL REQUIREMENT