A/B Test Platformu (A/B Testing Platform)
Sistem Analizi
Normal Davranış
Gelen bir kullanıcı isteği uygulama ucuna (application edge) veya istemci yazılım geliştirme kitine (client SDK) ulaştığında, platform tutarlı bir tanımlayıcı (UUID veya kullanıcı kimliği gibi) çıkarır ve bunu 0'dan 99'a kadar bir kümeye (bucket) özetler (hash). Eğer bu küme tanımlanan muamele tahsis (treatment allocation) aralığına düşerse, SDK varyant kod yolunu çalıştırır ve deney üst verilerini (experiment metadata) giden telemetri sinyallerine (telemetry beacons) ekler. Platform sürekli olarak dönüşüm olaylarını (conversion events) bir araya getirir, istatistiksel anlamlılığı (statistical significance - P-değerleri ve güven aralıkları) hesaplar ve gerçek zamanlı gösterge panelleri (dashboards) sunar.
Çöküş Davranışı
Üretim (production) yükü veya ağ bölünmeleri (network partitions) altında, yerel özellik ön bellekleri (local feature caches) merkezi yönetim düzlemiyle (central management plane) senkronize olamaz, bu da kullanıcıların ardışık sayfa görüntülemeleri arasında birbiriyle çelişen varyantlar arasında savrulmasına neden olur. Dahası, muamele dallarındaki (treatment branches) işlenmemiş istisnalar (unhandled exceptions) veya asenkron telemetri kopmaları, Örneklem Oranı Uyumsuzluğuna (Sample Ratio Mismatch - SRM) neden olarak deney gruplarını (experiment cohorts) geçersiz kılarken kullanıcı oturum durumunu sessizce bozar ve uç hesaplama gecikmelerini (edge compute latencies) şişirir.
İş Sonuçları
Bir A/B test platformu çöktüğünde, kurumlar ürün değişikliklerini güvenli bir şekilde doğrulamak için gereken istatistiksel temeli kaybeder. Bu durum, dönüşüm oranlarını (conversion rates) düşürebilecek, kullanıcı katılımını (user engagement) aşındırabilecek ve gelir akışlarını doğrudan sabote edebilecek özelliklerin körü körüne dağıtılmasıyla (blind deployment) sonuçlanır. Kurumlar deneysel hipotez testi yerine sezgilere dayalı karar almaya geri dönerek, kritik performans gerilemelerini (performance regressions) anekdotsal başarıların arkasına gizler.
Görsel Tezahür
"Trafik tahsis panelleri kullanıcıların %100'ünün tek bir kontrol grubu (control group) kümesine düştüğünü, istatistiksel anlamlılık testlerinde başarısız olan düzensiz metrik sıçramalarıyla birlikte 1.0'da düzleşen (flatlining) p-değeri grafiklerini gösterir."
Satirical Behavior
"A sophisticated mathematical engine primarily used by product managers to continuously re-test the color of a checkout button until random statistical noise finally tells them they were right all along."
Teknik Terminoloji
Hata Göstergeleri
Sistem Mimarisi
FAQ
Normalde nasıl davranır?
Gelen bir kullanıcı isteği uygulama ucuna (application edge) veya istemci yazılım geliştirme kitine (client SDK) ulaştığında, platform tutarlı bir tanımlayıcı (UUID veya kullanıcı kimliği gibi) çıkarır ve bunu 0'dan 99'a kadar bir kümeye (bucket) özetler (hash). Eğer bu küme tanımlanan muamele tahsis (treatment allocation) aralığına düşerse, SDK varyant kod yolunu çalıştırır ve deney üst verilerini (experiment metadata) giden telemetri sinyallerine (telemetry beacons) ekler. Platform sürekli olarak dönüşüm olaylarını (conversion events) bir araya getirir, istatistiksel anlamlılığı (statistical significance - P-değerleri ve güven aralıkları) hesaplar ve gerçek zamanlı gösterge panelleri (dashboards) sunar.
Nasıl çöker?
Üretim (production) yükü veya ağ bölünmeleri (network partitions) altında, yerel özellik ön bellekleri (local feature caches) merkezi yönetim düzlemiyle (central management plane) senkronize olamaz, bu da kullanıcıların ardışık sayfa görüntülemeleri arasında birbiriyle çelişen varyantlar arasında savrulmasına neden olur. Dahası, muamele dallarındaki (treatment branches) işlenmemiş istisnalar (unhandled exceptions) veya asenkron telemetri kopmaları, Örneklem Oranı Uyumsuzluğuna (Sample Ratio Mismatch - SRM) neden olarak deney gruplarını (experiment cohorts) geçersiz kılarken kullanıcı oturum durumunu sessizce bozar ve uç hesaplama gecikmelerini (edge compute latencies) şişirir.
İş sonuçları nelerdir?
Bir A/B test platformu çöktüğünde, kurumlar ürün değişikliklerini güvenli bir şekilde doğrulamak için gereken istatistiksel temeli kaybeder. Bu durum, dönüşüm oranlarını (conversion rates) düşürebilecek, kullanıcı katılımını (user engagement) aşındırabilecek ve gelir akışlarını doğrudan sabote edebilecek özelliklerin körü körüne dağıtılmasıyla (blind deployment) sonuçlanır. Kurumlar deneysel hipotez testi yerine sezgilere dayalı karar almaya geri dönerek, kritik performans gerilemelerini (performance regressions) anekdotsal başarıların arkasına gizler.
What is a Sample Ratio Mismatch (SRM) and why does it invalidate A/B tests?
A Sample Ratio Mismatch (SRM) occurs when the observed ratio of users in experiment variants differs significantly from the expected configured ratio (e.g., expecting 50/50 but observing 55/45). This is typically caused by variant-specific client crashes, slower render times causing early user drop-offs before telemetry fires, or edge bot filters disproportionately discarding traffic in one variant, rendering all downstream statistical conclusions mathematically invalid.
How does deterministic hashing prevent latency spikes during variant assignment?
Instead of querying a central database for every user request, client and edge SDKs use deterministic hashing algorithms (like MurmurHash3 or SHA-256) on user identifiers combined with experiment salt strings. This allows local, sub-millisecond cohort evaluation in memory against locally cached experiment rules, avoiding remote network round-trips.
Sistemi keşfet
AI özeti
A/B Testing Platform is a DELIVERY_AND_PLATFORM system in TinyCTO.tv. When an incoming user request arrives at the application edge or client SDK, the platform extracts a consistent identifier (such as a UUID or user ID) and hashes it into a bucket from 0 to 99. If the bucket falls within the defined treatment allocation range, the SDK executes the variant code path and attaches experiment metadata to outbound telemetry beacons. The platform continuously aggregates conversion events, calculates statistical significance (P-values and confidence intervals), and exposes real-time dashboards.