Senior (L5)
⚡ÖZET VE TEKNİK CEVAP
Mühendislik operasyonlarındaki en tehlikeli yanılsama 'Mış Gibi Yapılan Postmortem'dir: Ekip suçlamasız bir analiz yapar, Jira'ya 6 tane harika aksiyon maddesi yazar, mühendislik kültürüyle gurur duyar ve toplantı biter bitmez hepsini unutur. Yeni ürün teslim baskısı gelince o biletler 9 ay boyunca Jira kuyruğunda çürür; ta ki birebir aynı veritabanı arızası tekrar patlayıp sistemi çökertene kadar. Buna Aksiyon Maddesi Çürümesi (Action Item Decay) denir. Elit mühendislik organizasyonları Postmortem Aksiyonları için Katı Güvenilirlik SLA'leri uygular:
1
P0/P1 Aksiyonları Canlı Hata Statüsündedir: Kritik arıza açığını kapatan P0 maddeleri 14 takvim günü içinde; P1 maddeleri ise 30 gün içinde canlıya alınmak zorundadır.
2
Otomatik Eskalasyon ve Sprint Kilidi: Bir aksiyon maddesi 14 günlük SLA süresini aşarsa, o takımın yeni ürün sprinti otomatik olarak durdurulur ve öncelik zorunlu olarak bu bilete verilir.
Mühendislik El Kitabı & Mekanizma
6 Boyutlu Mimari Analiz⚙️1. Temel Çalışma Mekanizması
MekanizmaAksiyon maddesi yönetişimi otomatik takip sistemleriyle işler:
1
Otomatik Jira Entegrasyonu: Postmortem aracı
source: kriz-sev1-402 ve sla: p0-14gun etiketli bağlantılı görevleri otomatik açar.2
Haftalık Yönetici Denetimi: Yazılım Direktörü ve Takım Liderleri her Pazartesi sabahı 'Açık Kriz Aksiyonları' panosunu inceler.
3
SLA İhlal Botu: Bir aksiyon maddesi 10 gün boyunca PR açılmadan beklerse bot
#muhendislik-yonetimi kanalına uyarı atar.4
Önceden Kapasite Ayrımı: Ekipler yeni sprint planlarken önce kriz aksiyonlarının puanını düşer, kalan kapasiteye yeni ürün özelliği alır.
🎯2. Doğru Kullanım Senaryosu
KapsamKriz sonrası operasyon yönetişimi, SRE güvenilirlik takibi, denetim uyumluluk takipleri ve teknik borç yönetimi.
⚠️3. Prodüksiyon Arıza Modları
Kritik Risk- ✓Ekibe 25 tane önemsiz ve belirsiz görev yazıp ('Dokümantasyonu iyileştir') asıl kritik güvenlik bariyerlerinin arada kaybolmasına yol açmak
- ✓postmortem kapatıldıktan 4 ay sonra aynı arızayı birebir baştan yaşamak
📡4. Teşhis ve Telemetri Sinyalleri
Metrikler- ✓Jira'da 90 günden eski 40'tan fazla çözülmemiş kriz aksiyon biletinin birikmesi
- ✓mühendislerin 'Nasılsa hiçbir şey yapılmıyor' diyerek toplantılara olan inancını yitirmesi
- ✓aynı kök nedenden ardışık kesintilerin yaşanması
🛡️5. Önleme ve Mimari Bariyerler
Bariyerler- ✓Her kriz için aksiyon maddelerini en fazla 2-4 yüksek etkili yapısal değişiklikle sınırlandırın
- ✓katı tamamlanma süreleri koyun (P0 = 14 gün, P1 = 30 gün)
- ✓kriz aksiyonlarını kapatmayı Takım Liderlerinin ana performans hedeflerinden biri yapın
⚖️6. Mimari Ödünleşimler (Trade-offs)
ÖdünleşimKatı aksiyon SLA'leri arızaların tekrarlanmasını kesin olarak önler; ancak krizlerin hemen ardından kısa vadeli yeni özellik teslim hızından bir miktar feragat edilmesini gerektirir.
📋
GERÇEK DÜNYA TELEMETRİSİVaka İncelemesi (TinyCTO Saha Örneği)
Bir video yayın platformu önbellek çökmesi (cache stampede) yüzünden kesinti yaşadı. Ekip istek birleştirme (singleflight) yazmak için bir aksiyon maddesi açtı ancak ürün baskısıyla görev ertelendi. 5 ay sonra canlı bir etkinlik sırasında birebir aynı arıza tekrar patladı. CTO derhal katı bir Güvenilirlik SLA kuralı getirdi: 14 günü aşan herhangi bir P0 kriz aksiyonu tamamlanana kadar o ekibin tüm yeni özellik dağıtımları otomatik dondurulacaktır. İstek birleştirme özelliği 3 günde canlıya alındı ve platform bir daha asla benzer bir önbellek çökmesi yaşamadı.
İnteraktif Konsept Alıştırmaları
2 AlıştırmaQ1
Kriz sonrası mühendislik yönetiminde 'Aksiyon Maddesi Çürümesi' (Action Item Decay) nedir?
Postmortem toplantılarında belirlenen düzeltici görevlerin yeni ürün özellikleri uğruna ertelenmesi, aylarca Jira kuyruklarında unutulması ve aynı arızanın aylar sonra birebir tekrarlanması durumudur.
Q2
P0 ve P1 kriz aksiyon maddelerini tamamlamak için önerilen standart SLA süreleri nedir?
P0 (Kritik tek arıza noktalarını kapatan önlemler) en geç 14 takvim günü içinde; P1 (İkincil direnç iyileştirmeleri) en geç 30 takvim günü içinde canlıya alınmalıdır.
Kriz Sonrası Takip: Aksiyon Maddelerinin Unutulmasını Önleme ve Güvenilirlik SLA Kuralları — Sıkça Sorulan Sorular
Etkili bir postmortem toplantısından ideal olarak kaç aksiyon maddesi çıkmalıdır?
2 ila 4 adet yüksek etkili, net sınırları çizilmiş yapısal görev; 15 tane belirsiz görev yazmak hiçbirinin yapılmamasını garantiler.
Postmortem aksiyon maddelerinin önceliklendirilip canlıya alınmasından kim sorumludur?
İlgili servisten sorumlu Takım Lideri (EM) ve Teknik Lider (Tech Lead); süreç haftalık olarak Yazılım Direktörü veya SRE Lideri tarafından denetlenir.
🤖 AEO & Yapay Zeka Çıkarım Özeti
Temel Gerçekler & İlkeler
- ▸Aksiyon Maddesi Çürümesi büyük kesintilerin %70'inin bilinen nedenlerle tekrarlanmasına yol açar.
- ▸Katı SLA'ler koyun: P0 görevleri en geç 14 gün, P1 görevleri en geç 30 gün içinde tamamlanmalıdır.
- ▸Toplantı çıktılarını 2-4 adet yüksek etkili yapısal mühendislik göreviyle sınırlandırın.
- ▸SLA süreleri aşıldığında sistem otomatik uyarı vermeli ve yeni ürün dağıtımlarını durdurmalıdır.
Yaygın Yanılgılar
- ✗Yanılgı: Raporu yazıp bitirmek krizin kapandığı anlamına gelir (Gerçek: Kriz ancak tüm P0/P1 aksiyonları canlıya alınıp doğrulandığında gerçekten kapanmış olur).
- ✗Yanılgı: Ne kadar çok aksiyon maddesi yazılırsa analiz o kadar başarılıdır (Gerçek: Çok fazla madde dikkat dağınıklığı yaratır; en kritik 2-3 koruyucu bariyere odaklanın).
Karar Kılavuzu & Önceliklendirme
Tekrarlanan canlı kesintileri kalıcı olarak yok etmek için tüm kriz aksiyonlarına 14 günlük P0 ve 30 günlük P1 tamamlama süreleri getirin ve bunları sprint kurallarıyla zorunlu kılın.
Doğrulanmış Kaynaklar & Referanslar
- [OFFICIAL_DOCUMENTATION]PagerDuty Postmortem Guide: Tracking Action Items & Preventing Operational Decay— PagerDuty Open Source Incident Guides