Nöbet Hijyeni: PagerDuty Alarm Yorgunluğu ve Eyleme Dönüştürülebilir Sinyal-Gürültü Oranı

Senior (L5)

⚡ÖZET VE TEKNİK CEVAP

Bir nöbetçi mühendis haftada 50 kez zararsız geçici CPU sıçramaları veya önemsiz cron uyarıları yüzünden uyandırıldığında, insan psikolojisi Yalancı Çoban Refleksini devreye sokar: Mühendisler Alarm Yorgunluğuna (Alert Fatigue) yakalanır; ekranlara bile bakmadan telefondan 'Onayla' (Acknowledge) butonuna basıp uyumaya devam ederler. Gerçek bir SEV0 veritabanı çöküşü yaşandığında ise bunun yine sahte bir alarm olduğunu düşünüp 45 dakika boyunca müdahale etmezler. Modern SRE izleme disiplininin temeli Eyleme Dönüştürülebilir Sinyal-Gürültü Prensibidir:

Bir alarm anında insan müdahalesi gerektirmiyorsa, ASLA bir insanın telefonunu çaldırmamalıdır.

Her alarmın içinde doğrudan güncel bir kılavuz (runbook) linki bulunmalıdır.

Bir alarm için yazılan müdahale '15 dakika izleyin, kendi kendine düzelir' şeklindeyse, o alarm derhal PagerDuty'den çıkarılıp sessiz bir Slack bildirimine veya bilete dönüştürülmelidir.

Mühendislik El Kitabı & Mekanizma

6 Boyutlu Mimari Analiz

⚙️1. Temel Çalışma Mekanizması

Mekanizma

Alarm temizleme ve hijyen yönetişimi haftalık denetim rutinleriyle işler:

Eylemsiz Alarm Taraması: Her Pazartesi, son 7 günde çalan tüm PagerDuty alarmlarını listeleyen bir script çalıştırılır.

3 İhlal Kuralı: Bir hafta içinde 3'ten fazla çalan ancak mühendisin hiçbir aksiyon almadığı alarmlar otomatik olarak PagerDuty'den düşürülüp Slack #bilgi-alarmlari kanalına çekilir.

Belirti Odaklı İzlemeye Geçiş: Düşük seviyeli sebep alarmlarını silin (Sunucu CPU > %85) ve kullanıcı belirtisi alarmları kurun (Ödeme Hata Oranı > %1).

Kılavuz Zorunluluğu: CI linter kuralları her alarm tanımında geçerli bir runbook_url adresi olmasını denetler.

🎯2. Doğru Kullanım Senaryosu

Kapsam

Datadog/Prometheus alarm kurallarının sadeleştirilmesi, nöbetçi sağlığının toparlanması, SRE ekiplerinin kurulması ve gürültü azaltma projeleri.

⚠️3. Prodüksiyon Arıza Modları

Kritik Risk

✓
İlk kurulumda 500 tane rastgele eşik alarmı kurup bir daha hiç temizlememek ve ayda 300 kez telefon çaldırmak
✓
nöbetçilerin çaresizlikten telefonlarında PagerDuty'yi tamamen susturan kurallar yazması

📡4. Teşhis ve Telemetri Sinyalleri

Metrikler

✓
Mühendislerin bilgisayarı bile açmadan 4 saniye içinde telefondan alarmı susturması
✓
kriz kayıtlarının %70'inden fazlasının 'Gereksiz Alarm' olarak kapatılması
✓
nöbetçinin haftada 15'ten fazla uyandırılması

🛡️5. Önleme ve Mimari Bariyerler

Bariyerler

✓
'Sıfır Eylemsiz Alarm' kuralını zorunlu kılın
✓
rastgele sunucu eşiklerinden SLO tüketim alarmlarına geçin
✓
her yeni alarm kuralının kılavuz dokümanıyla birlikte PR incelemesinden geçmesini şart koşun

⚖️6. Mimari Ödünleşimler (Trade-offs)

Ödünleşim

Gürültülü alarmları agresifçe silmek mühendislik odağını kurtarır ve gerçek krizlere anında müdahaleyi garantiler; ancak gerçek arızaların kaçırılmaması için kullanıcı belirtilerine dayalı güçlü SLO alarmları gerektirir.

📋

Vaka İncelemesi (TinyCTO Saha Örneği)

GERÇEK DÜNYA TELEMETRİSİ

Bir finansal teknoloji girişiminin nöbetçi mühendisleri haftada 65 kez PagerDuty alarmı alıyordu. Alarmların %80'i 5 dakika sonra kendi kendini temizleyen bir arka plan işçisinin bellek uyarısından kaynaklanıyordu. Bir Cuma akşamı ana Redis kümesi çöktü. Mühendis alarmın yine aynı önemsiz uyarı olduğunu düşünerek telefondan kapattı ve akşam yemeğine devam etti. Kesinti 75 dakika sürdü. SRE Lideri acil bir 'Alarm Diyeti' başlattı: 42 gürültülü alarmı sildi, 15 tanesini Slack'e düşürdü ve kalan 8 kritik SLO alarmına kılavuz linki ekledi. Haftalık alarm sayısı 65'ten 3'e indi ve mühendislerin gerçek krizlere müdahale süresi 22 dakikadan 90 saniyeye düştü.

İnteraktif Konsept Alıştırmaları

2 Alıştırma

Site Reliability Engineering (SRE) disiplininde 'Aksiyonu Olmayan Alarmı İndirgeme' kuralı nedir?

Gece saat 03:00'te çalan bir alarm müşteriyi korumak için anında ve dokümante edilmiş bir insan müdahalesi gerektirmiyorsa, telefon çaldırmaktan derhal çıkarılmalı ve sessiz bir Slack kanalına veya bilete dönüştürülmelidir.

'Alarm Yorgunluğu' (Alert Fatigue) nedir ve sistem kararlılığı için neden tehlikelidir?

Sürekli çalan gereksiz sahte alarmlar yüzünden mühendislerin duyarsızlaşması; alarmları refleks olarak incelemeden kapatması ve bu yüzden gerçek büyük felaketleri gözden kaçırması durumudur.

Nöbet Hijyeni: PagerDuty Alarm Yorgunluğu ve Eyleme Dönüştürülebilir Sinyal-Gürültü Oranı — Sıkça Sorulan Sorular

Nöbetçi alarmlarında Belirti Odaklı (Symptom-Based) alarmlar neden Sebep Odaklı (Cause-Based) alarmlardan çok daha üstündür?

Çünkü kullanıcıyı hiç etkilemeyen yüzlerce teknik sebep (CPU, bellek sıçraması) olabilir; oysa gerçek müşteri acısını temsil eden sadece birkaç temel kullanıcı belirtisi (hata oranı, gecikme, akış durması) vardır.

CI/CD'deki her alarm kuralı tanım dosyasında zorunlu olarak ne bulunmalıdır?

Sorunun nasıl teşhis edilip çözüleceğini adım adım anlatan güncel bir acil durum kılavuzuna (runbook) giden doğrulanmış bir web adresi.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

▸
Gürültülü gereksiz alarmlar alarm yorgunluğu yaratır ve gerçek krizlerin kaçırılmasına yol açar.
▸
Kural: Anında insan müdahalesi gerektirmeyen hiçbir alarm ASLA telefon çaldıramaz.
▸
Sebep alarmlarından (CPU > %80) kullanıcı Belirti alarmlarına (API Hata > %1) geçin.
▸
Tüm PagerDuty alarm kurallarına adım adım kılavuz (runbook) linki eklenmesini zorunlu kılın.

Yaygın Yanılgılar

✗
Yanılgı: 1.000 tane alarm kuralımızın olması izlememizin kusursuz olduğunu gösterir (Gerçek: 1.000 alarm yorgunluğu garantiler; 20 odaklı SLO alarmı çok daha üstün güvenilirlik sağlar).
✗
Yanılgı: 5 dakika sonra kendi düzelen bir alarm nöbetçiye bilgi vermek için iyidir (Gerçek: Kendi düzelen alarmlar Slack'e gitmelidir; gece insanları uyandırmamalıdır).

Karar Kılavuzu & Önceliklendirme

Alarm yorgunluğunu yok etmek için haftalık alarm temizliği yapın; eylem gerektirmeyen alarmları Slack'e düşürün ve tüm PagerDuty kurallarına kılavuz (runbook) eklenmesini zorunlu kılın.

Doğrulanmış Kaynaklar & Referanslar

[OFFICIAL_DOCUMENTATION]Google Site Reliability Engineering: Monitoring Distributed Systems & Alerting Hygiene— O'Reilly Media / Google SRE Book