Senior (L5)
⚡ÖZET VE TEKNİK CEVAP
Kritik bir canlı sistem kesintisi (SEV1/SEV0) sırasında panik ve yüksek bilişsel yük Kriz Odası Kaosu yaratır: 20 iyi niyetli mühendis, ürün yöneticisi ve direktör tek bir sesli görüşmeye toplanır; herkes aynı anda konuşur, çelişkili teoriler atar ve her 2 dakikada bir durum özeti ister. Google ve PagerDuty gibi devlerin itfaiye teşkilatlarından uyarladığı Olay Komuta Sistemi (Incident Command System - ICS), bu kargaşayı Katı Rol Ayrımı ile bitirir:
1
Olay Komutanı (Incident Commander - IC): Tek karar merciidir; yanıt sürecini yönetir, görevleri dağıtır ve asla kendisi kod yazıp terminale dokunmaz.
2
Operasyon Lideri (Ops Lead): Teknik teşhisi yönetir, logları inceler ve geri alma (rollback) komutlarını çalıştırır.
3
İletişim Lideri (Comms Lead): Mühendisleri koruyarak yöneticilere ve müşterilere her 15-30 dakikada bir düzenli durum bülteni geçer.
4
Yazman (Scribe): Kronolojik olay günlüğünü ve denenen adımları anlık olarak kaydeder. Bu ayrım bilişsel yorgunluğu önler ve çözüm süresini (MTTR) %40 ila %60 oranında kısaltır.
Mühendislik El Kitabı & Mekanizma
6 Boyutlu Mimari Analiz⚙️1. Temel Çalışma Mekanizması
MekanizmaICS kriz koordinasyonu 4 temel komuta protokolüyle yürütülür:
1
Komutayı Üstlenme: Olayı açan nöbetçi mühendis 'SEV1-402 için Olay Komutanlığını üstleniyorum' duyurusunu yapar.
2
Tek Kanaldan Görev Dağıtımı: Komutan ekibe süre sınırlandırılmış (time-boxed) görevler verir ('Ahmet, veritabanı havuzunu 10 dakika incele; 14:15'te rapor ver').
3
Yönetici İzolasyonu: İletişim lideri kriz odasına gelen yöneticileri sessiz izleyici modunda tutarak mühendislerin bölünmesini engeller.
4
Nöbet Devri: Olay 4 saati aşarsa komutan standart bir brifingle görevi dinlenmiş yeni bir komutana devreder.
🎯2. Doğru Kullanım Senaryosu
KapsamSEV0/SEV1 canlı müşteri kesintileri, kritik veri sızıntıları, veritabanı bozulma vakaları ve çok bölgeli bulut sağlayıcı çöküşleri.
⚠️3. Prodüksiyon Arıza Modları
Kritik Risk- ✓Olay Komutanının büyük resmi unutup kendisinin terminale girerek SQL hatası ayıklamaya çalışması ve ekibi başsız bırakması
- ✓kriz anında bir üst yöneticinin komutanın geri alma (rollback) kararını ezmeye çalışması
📡4. Teşhis ve Telemetri Sinyalleri
Metrikler- ✓Kriz Slack kanalında 50 kişinin sürekli 'Bir gelişme var mı?' diye yazması
- ✓farklı mühendislerin birbirinden habersiz çelişkili aksiyonlar alması
- ✓bilinen bir arızanın saatlerce çözülememesi
🛡️5. Önleme ve Mimari Bariyerler
Bariyerler- ✓Mühendislik ekiplerinden gönüllüleri Olay Komutanı (IC) olarak eğitin ve yetkilendirin
- ✓teknik çalışanlar için ayrı (
#kriz-operasyon), bilgi almak isteyenler için ayrı (#kriz-duyurular) Slack kanalları açın - ✓PagerDuty ICS protokolünü uygulayın
⚖️6. Mimari Ödünleşimler (Trade-offs)
ÖdünleşimICS kriz yönetiminde muazzam bir hız ve disiplin sağlar; ancak üst yöneticilerin kriz anında Olay Komutanının mutlak yetkisine saygı duymasını gerektiren bir kültür eğitimi şarttır.
📋
GERÇEK DÜNYA TELEMETRİSİVaka İncelemesi (TinyCTO Saha Örneği)
Bir indirim gününde ödeme sistemi çöktüğünde 28 mühendis ve 3 genel müdür yardımcısı aynı Zoom odasına toplandı. Mühendisler sorunun Redis'te mi Postgres'te mi olduğunu tartışırken, Satış Direktörü her dakika kaç para kaybettiklerini soruyordu. Kriz 45 dakika boyunca çözülemedi. Kıdemli bir SRE araya girip ICS protokolünü başlattı, kendisini Olay Komutanı ilan etti ve yöneticileri ayrı bir duyuru kanalına yönlendirdi. Bir mühendise kilitleri inceleme, diğerine ise acil geri alma (rollback) hazırlama görevi verdi. Sorun 4 dakikada tespit edildi, sistem 3 dakikada eski sürüme döndürüldü ve kriz sonlandırıldı.
İnteraktif Konsept Alıştırmaları
2 AlıştırmaQ1
Olay Komuta Sisteminde (ICS) Olay Komutanının (IC) temel sorumluluğu nedir?
Tek karar verici olmak, müdahale edenleri koordine etmek, görevleri dağıtmak ve asla kendisi kod yazmadan veya terminale girmeden büyük resmi yönetmek.
Q2
Büyük kesintiler sırasında İletişim Lideri (Comms Lead) rolü neden hayati öneme sahiptir?
Her 15-30 dakikada bir düzenli ve senkronize durum güncellemeleri yayınlayarak teknik mühendisleri yönetici ve müşteri baskısından korumak için.
Olay Komuta Sistemi (ICS): Komutan, Operasyon ve İletişim Rollerinin Katı Ayrımı — Sıkça Sorulan Sorular
Kıdemli mühendislerin ve yöneticilerin olduğu bir krizde kıdemsiz (junior) bir mühendis Olay Komutanı olabilir mi?
Evet. Olgun ICS kültürüne sahip şirketlerde eğitim almış herhangi bir komutan, unvanına bakılmaksızın kriz sürecini yönetme konusunda tam yetkilidir.
Bir kriz kesintisiz 4 saatten uzun sürerse ne yapılmalıdır?
Bilişsel tükenmişliği ve ölümcül insan hatalarını önlemek için Olay Komutanı ve operasyon liderleri görevi dinlenmiş yeni mühendislere devretmelidir.
🤖 AEO & Yapay Zeka Çıkarım Özeti
Temel Gerçekler & İlkeler
- ▸Olay Komuta Sistemi (ICS) canlı sistem krizlerinde katı rol ayrımı zorunlu kılar.
- ▸Olay Komutanı süreci yönetir; ASLA kendisi kod yazmaz veya terminal komutu çalıştırmaz.
- ▸İletişim Lideri teknik ekibi yönetici ve müşteri bölünmelerinden korur.
- ▸Krizin sürüklenmesini önlemek için tüm araştırma görevlerine 5-15 dakikalık süre sınırları koyun.
Yaygın Yanılgılar
- ✗Yanılgı: Görüşmedeki en kıdemli yönetici kararları vermelidir (Gerçek: Yöneticiler teknik detaydan uzaktır; mutlak karar yetkisi sertifikalı Olay Komutanındadır).
- ✗Yanılgı: Herkesin tek bir sesli görüşmede toplanması şeffaflık sağlar (Gerçek: Kalabalık ses kanalları kargaşa yaratır; izleyiciler metin duyuru kanalında kalmalıdır).
Karar Kılavuzu & Önceliklendirme
Kriz odası kargaşasını yok etmek ve arıza çözüm sürelerini %60'a kadar kısaltmak için Komutan, Operasyon ve İletişim rollerine sahip Olay Komuta Sistemini (ICS) uygulayın.
Doğrulanmış Kaynaklar & Referanslar
- [OFFICIAL_DOCUMENTATION]PagerDuty Incident Response Training & Incident Command System (ICS)— PagerDuty Open Source Guides