Gözlemlenebilirlik Mimarisi: Statik Eşik Alarmları, p99 Kuyruk Gecikmesi ve Sentetik Canary Robotları

Senior (L5)

⚡ÖZET VE TEKNİK CEVAP

Geleneksel sunucu izleme sistemleri Statik Ortalamalara (ör. Ortalama Yanıt Süresi > 300 ms) güvenir. Ortalamalar matematiksel olarak aldatıcı ve tehlikelidir: Kullanıcıların %95'i önbellekten 20ms'de hızlı yanıt alırken, en çok para harcayan %5'lik müşteri kitlesi ödeme ekranında 15 saniyelik veritabanı kilitlenmelerine takılıyorsa, genel ortalama sadece 770ms çıkar ve kaba alarmların radarına takılmaz. Bu sırada en değerli müşterileriniz sistemi terk eder. Modern SRE izleme disiplini ortalamaları terk edip Kuyruk Gecikmesi Yüzdelikleri (Percentiles: p95, p99, p99.9) ve Sentetik Canary Robotlarına geçer:

Yüzdelik Takibi: p99 gecikmesi en yavaş %1'lik dilimi ölçer; veritabanı kilitlerini ve bellek temizleme (GC) duraklamalarını tüm sistemi vurmadan yakalar.

7/24 Sentetik Canary Robotları: Başsız tarayıcı botları küresel konumlardan her 60 saniyede bir gerçek kullanıcı akışlarını (Giriş ightarrow Arama ightarrow Sepete Ekle ightarrow Satın Al) çalıştırarak gece gibi trafiğin az olduğu saatlerde bile sessiz arızaları anında ifşa eder.

Mühendislik El Kitabı & Mekanizma

6 Boyutlu Mimari Analiz

⚙️1. Temel Çalışma Mekanizması

Mekanizma

Kuyruk gecikmesi ve sentetik robot orkestrasyonu iki tamamlayıcı katmanla çalışır:

Histogram Metrik Kaydı: Uygulama Prometheus istemcileri istek sürelerini logaritmik kovalara (bucket) kaydeder.

PromQL p99 Alarmı: En yavaş %1'lik dilim 2 saniyeyi aştığında sistem anında alarm üretir.

Playwright Sentetik Canary Çalıştırıcısı: Bir AWS Lambda fonksiyonu her 60 saniyede bir Playwright tarayıcısı ile canlı sistemde satın alma adımlarını test eder; hata durumunda ekran görüntüsünü S3'e yükler.

Korelasyon Bildirimi: Sentetik robot hatası p99 gecikme artışıyla örtüştüğünde, sistem 90 saniye içinde nöbetçi mühendisi ayağa kaldırır.

🎯2. Doğru Kullanım Senaryosu

Kapsam

E-ticaret ödeme akışları, finansal işlem onay mekanizmaları, yüksek trafikli API ağ geçitleri ve kullanıcı yolculuğu erişilebilirlik takipleri.

⚠️3. Prodüksiyon Arıza Modları

Kritik Risk

✓
Sadece HTTP durum kodlarına güvenip ön yüzdeki (Javascript) beyaz sayfa çöküşlerinin arkadan HTTP 200 dönerek arızayı izleme sisteminden gizlemesi
✓
1 dakikalık CPU ortalamalarının kısa süreli ani kilitlenmeleri maskelemesi

📡4. Teşhis ve Telemetri Sinyalleri

Metrikler

✓
Arka plan izleme paneli %99,8 yeşil ortalama gösterirken destek ekibine 'Ödeme ekranı dönüp duruyor' şikayetlerinin yağması
✓
hiçbir sistem alarmı çalmamasına rağmen cironun aniden %40 düşmesi

🛡️5. Önleme ve Mimari Bariyerler

Bariyerler

✓
Tüm alarm kurallarından ortalama (average) metriklerini kalıcı olarak yasaklayın
✓
p95 ve p99 kuyruk gecikmelerini zorunlu kılın
✓
en kritik gelir akışlarına 7/24 çalışan Playwright sentetik canary robotları yerleştirin

⚖️6. Mimari Ödünleşimler (Trade-offs)

Ödünleşim

Kuyruk gecikmeleri ve sentetik robotlar sinsi arızaları henüz yayılmadan yakalar; ancak doğru yapılandırılmış Prometheus histogram kovaları ve tarayıcı botları için küçük bir sunucu kaynağı gerektirir.

📋

Vaka İncelemesi (TinyCTO Saha Örneği)

GERÇEK DÜNYA TELEMETRİSİ

Bir havayolu bilet portalı ortalama > 400ms kuralıyla izleniyordu. Veritabanı kilitlendiğinde uçuş aramaları 30ms'de hızlıca bittiği için (%90 trafik), ödeme adımı 25 saniye sürmesine rağmen (%10 trafik) genel ortalama 380ms çıktı ve 2 saat boyunca hiçbir alarm çalmadı; 400.000'lık bilet satışı yandı. SRE ekibi sistemi yeniledi: Ortalama alarmını sildi, p99 > 1500ms alarmı kurdu ve her 60 saniyede bir sahte bilet alan Playwright sentetik robotu başlattı. 2 hafta sonra ödeme sağlayıcısı takıldığında robot arızayı 58 saniyede yakaladı ve nöbetçiyi uyararak 180.000'lık satışı kurtardı.

İnteraktif Konsept Alıştırmaları

2 Alıştırma

Kullanıcıya açık sistemlerde ortalama (mean) gecikmeye göre alarm kurmak neden matematiksel olarak hatalıdır?

Çünkü önbellekten dönen çok sayıdaki hızlı istek genel ortalamayı aşağı çeker; bu durum satın alma yapan en kritik %5'lik kullanıcı kitlesinin yaşadığı 10 saniyelik dev gecikmeleri tamamen görünmez kılar.

Canlı sistem gözlemlenebilirliğinde Sentetik Canary Robotu (Synthetic Probe) nedir?

Gerçek kullanıcılar hatayla karşılaşmadan önce arızaları yakalamak için 7/24 düzenli aralıklarla (ör. 60 saniyede bir) canlı sistemde gerçek adımları (giriş, arama, ödeme) yürüten otomatik başsız tarayıcı botudur.

Gözlemlenebilirlik Mimarisi: Statik Eşik Alarmları, p99 Kuyruk Gecikmesi ve Sentetik Canary Robotları — Sıkça Sorulan Sorular

p95 ile p99 kuyruk gecikmesi (tail latency) arasındaki fark nedir?

p95 isteklerin %95'inin tamamlandığı süre sınırını gösterir; p99 ise isteklerin %99'unu kapsar ve en yavaş %1'lik en kötü uç durum gecikmelerini ortaya çıkarır.

Sentetik robotlar organik trafiğin sıfır olduğu saatlerde (ör. gece 03:00) kesintileri nasıl yakalar?

Çünkü sentetik robotlar 7/24 kendi yapay işlem trafiğini üretir; böylece canlı veritabanı çöktüğünde gerçek bir insanın gelip hata almasını beklemeden kesintiyi anında tespit eder.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

▸
Ortalama gecikme metrikleri aldatıcıdır ve kritik arızaları gizler.
▸
Prometheus histogramları ile p95 ve p99 kuyruk gecikmesi yüzdeliklerini izleyin.
▸
Kritik kullanıcı akışlarını test etmek için 7/24 sentetik tarayıcı robotları çalıştırın.
▸
Sentetik hataları gecikme artışıyla eşleştirerek tespit süresini (MTTD) 60 saniyenin altına indirin.

Yaygın Yanılgılar

✗
Yanılgı: HTTP 200 yanıt kodlarını kontrol etmek yeterli izlemedir (Gerçek: Sayfalar beyaz boş ekran verirken bile HTTP 200 dönebilir; DOM tabanlı sentetik testler şarttır).
✗
Yanılgı: p99 gecikmesi sadece devasa teknoloji devleri için önemlidir (Gerçek: En yavaş %1'lik dilim neredeyse her zaman en çok harcama yapan en değerli müşterilerinizdir).

Karar Kılavuzu & Önceliklendirme

Tüm kritik gelir akışlarında ortalama eşik alarmlarını kaldırın ve p99 kuyruk gecikmesi ile 7/24 çalışan Playwright sentetik robotlarını zorunlu kılın.

Doğrulanmış Kaynaklar & Referanslar

[ARTICLE]The Tail at Scale: Latency Tolerant Systems & Percentile Architectures— Jeffrey Dean & Luiz André Barroso / Communications of the ACM

Bu sayfadaki teknik terimler

Observability