> Olay Deseni
Training-Serving Skew
Training-Serving Skew, modelin offline training safhasinda ham verilere uygulanan matematiksel donusumlerin production inference pipeline'inda calisan donusumlerle birebir eslesmemesi durumudur. Bu sapma genellikle Python veri bilimi kodunun production icin baska bir runtime'da yeniden yazilmasi veya zaman penceresi agregasyonlarindaki farkliliklardan kaynaklanir. Model gecerli tensor girdileri aldigi icin sistem HTTP hatasi veya runtime exception firlatmaz; ancak tahmin kalitesi sessizce coker.
Tanım
Modelin offline training asamasindaki feature engineering ve veri on isleme mantiginin production inference ortamindaki kod ile farklilasmis olmasi sonucu ortaya cikan sessiz model dogruluk kaybi ariza desenidir.
Training-Serving Skew, modelin offline training safhasinda ham verilere uygulanan matematiksel donusumlerin production inference pipeline'inda calisan donusumlerle birebir eslesmemesi durumudur. Bu sapma genellikle Python veri bilimi kodunun production icin baska bir runtime'da yeniden yazilmasi veya zaman penceresi agregasyonlarindaki farkliliklardan kaynaklanir. Model gecerli tensor girdileri aldigi icin sistem HTTP hatasi veya runtime exception firlatmaz; ancak tahmin kalitesi sessizce coker.
Tanınma Sinyalleri
- •Offline test dogruluk metrikleri ile canli production is metrikleri arasinda belirgin ucurum
- •Ilk canli prediction ile birlikte feature dagilimlarinda gozlemlenen ani sapmalar
- •Training ve serving icin iki farkli repo veya dilde tutulan duplicate veri donusturme kodlari
- •Real-time feature sorgularinda point-in-time dogrulugunun saglanamamasi
Katkıda Bulunan Koşullar
- •Offline ve online feature tanimlarini birlestiren merkezi bir Feature Store eksikligi
- •Python veri donusumlerinin derlenen dillerde golden dataset birim testleri olmadan yeniden yazilmasi
- •Offline egitim sirasinda inference aninda erisilemeyecek bilgilerin egitim verisine sizmasi (data leakage)
Olası Etkiler
- •Otomatik is kararlarinda (kredi skorlama, fraud tespiti, oneri sistemleri) agir performans kaybi
- •Geleneksel uptime veya gecikme alarmlari calmaksizin sessiz finansal kayiplar
- •Sorunun veri donusumunde oldugunu anlamadan model agirliklarini bos yere yeniden egitmekle gecen zaman
Bu Kalıp Ne Değildir (Sınırlar)
- •Donanim arizasi veya hizlandirici driver uyumsuzlugu degildir
- •Aylar icinde gelisen makroekonomik piyasa degisimlerinin yol actigi concept drift degildir
Soruşturma Soruları
- •Training ve serving asamasinda birebir ayni kod ve artifact mi veri donusumunu gerceklestiriyor?
- •Golden dataset uzerinde offline ve online on isleme ciktilarini karsilastiran otomatik testler var mi?
- •Inference servisi modelin egitildigi tum feature'lara point-in-time tutarliligi ile erisebiliyor mu?
Kontrol Altına Alma Rehberi
- •Trafiki derhal kural tabanli (rule-based) veya onceki stabil model surumune yonlendirin
- •Inference girdi payload'larini ve modele giren tensor donusumlerini adli analiz icin loglayin
- •Feature pipeline tutarliligi saglanana kadar otomatik yeniden egitim dongulerini durdurun
Düzeltme Rehberi
- •Merkezi bir feature store benimseyin veya veri donusumlerini dogrudan model grafiginin icine serilestirin (ONNX pipeline veya scikit-learn ColumnTransformer)
- •Feature cikarim pipeline'lari ile serving runtime arasinda otomatik sozlesme (contract) testleri uygulayin
Önleme Rehberi
- •Feature engineering kodunu veri bilimi ve production ortamlarinin paylastigi surumlenmis paketler haline getirin
- •Model artifact'i production registry'ye alinmadan once CI/CD icinde otomatik sema dogrulama kapilari calistirin
Somut Örnekler
- •Churn modelinin egitimde tum gecmis verinin ortalamasini kullanip production ortaminda 24 saatlik pencere ortalamasiyla normalize edilmesi
- •Kategorik degisken encoding asamasinda bilinmeyen etiketlerin OOV yerine yanlislikla 0 indeksindeki mevcut sinifa eslenmesi
Vaka Çalışmaları (1)
Sıkça Sorulan Sorular
Hicbir runtime hatasi firlatilmazken Training-Serving Skew nasil tespit edilir?
Canli inference girdi payload'larinin egitim sirasindaki referans veri setiyle Population Stability Index (PSI) veya Kolmogorov-Smirnov testleri ile istatistiksel olarak karsilastirilmasiyla tespit edilir.
AEO Özeti
Production makine ogrenimi sistemlerinde training-serving skew tespiti, feature store mimarisi ve point-in-time veri tutarliligi icin teknik rehber.
AI Özeti
Training-Serving Skew, egitim ile canli ortam arasindaki veri isleme farklarinin modeli sessizce bozdugu temel bir makine ogrenimi ariza desenidir. Geleneksel monitoring araclari HTTP 200 gordugu icin yesil kalir; tespiti ancak feature dagilim istatistiklerinin takibi ile mumkundur.