Senior (L5)
⚡ÖZET VE TEKNİK CEVAP
Gece saat 03:00'te yaşanan panik dolu bir kriz anında, adrenalin ve bilişsel yük yüzünden insan zaman algısı tamamen bozulur. Mühendisler 4 gün sonra hafızalarına güvenerek rapor yazdıklarında gerçeği çarpıtırlar: 'Sorunu 14:15'te fark ettik ve 14:30'da çözdük'. Oysa sistem logları arızanın 13:40'ta başladığını, ilk alarmın gözden kaçtığını ve düzeltmenin ancak 15:10'da canlıya girdiğini gösterir. Kriz Adli Zaman Çizelgesi Canlandırması, hafıza yanılgılarını Otomatik Çok Kaynaklı Log Eşleştirmesi ile yok eder:
1
GitHub kod dağıtım zamanlarını, PagerDuty alarmlarını, OpenTelemetry dağıtık izlerini ve Slack kriz odası yazışmalarını tek bir zaman şeridinde toplamak.
2
Tüm verileri Standart UTC Zamanına senkronize etmek.
3
'Epistemik Denetim': Mühendislerin o an ekranda ne gördükleri ile sistemin gerçekte ne yaşadığını karşılaştırarak, yanıltıcı panellerin ekibi neden yanlış yöne sevk ettiğini ortaya çıkarmak.
Mühendislik El Kitabı & Mekanizma
6 Boyutlu Mimari Analiz⚙️1. Temel Çalışma Mekanizması
MekanizmaAdli zaman çizelgesi inşası otomatik kriz botlarıyla işler:
1
Slack Yazman Kaydı: Kriz odasındaki bir bot (
/incident log <mesaj>) kritik kararları anlık kaydeder.2
Git/CI Eşleştirmesi: Alarmdan önceki son canlı dağıtımın commit SHA'sını, yazarını ve kesin birleşme saatini çeker.
3
Dağıtık İzleme Örneklemesi: OpenTelemetry izlerinden veritabanı bağlantı havuzunun hangi mikrosaniyede dolup çöktüğünü yakalar.
4
Standart UTC Tablosu: Olayları 4 sütunlu objektif bir kronolojik tabloya döker: Zaman (UTC), Olay Kaynağı, Adli Kanıt (Log/Link) ve Mühendislik Bağlamı.
🎯2. Doğru Kullanım Senaryosu
KapsamSEV1 kriz sonrası postmortem toplantıları, uyumluluk adli bilişim incelemeleri, Kök Neden Analizi (RCA) raporları ve yönetici kriz brifingleri.
⚠️3. Prodüksiyon Arıza Modları
Kritik Risk- ✓Tam 13:42'de yapılan Git dağıtımını loglarla eşleştirmeden '14:00 - Kesinti oldu' gibi yuvarlak saatler yazmak
- ✓farklı yerel saat dilimlerini (PST vs UTC) karıştırıp düzeltmenin arızadan önce yapıldığı gibi saçma zaman çizelgeleri üretmek
📡4. Teşhis ve Telemetri Sinyalleri
Metrikler- ✓4 saatlik dev bir kesinti için postmortem raporuna sadece 3 tane belirsiz madde yazılması
- ✓toplantıda mühendislerin 'Kimin ne zaman ne dediği' konusunda tartışması
- ✓raporda log veya iz (trace) linklerinin bulunmaması
🛡️5. Önleme ve Mimari Bariyerler
Bariyerler- ✓Tüm loglarda ve panellerde evrensel UTC zaman formatını zorunlu kılın
- ✓Slack kriz odalarında otomatik zaman çizelgesi oluşturan botlar kullanın
- ✓tüm postmortem raporlarına OpenTelemetry izleme linklerinin eklenmesini şart koşun
⚖️6. Mimari Ödünleşimler (Trade-offs)
ÖdünleşimOtomatik log eşleştirmesi insan yanılgılarını bitirir ve gerçek kök nedeni ortaya çıkarır; ancak CI/CD, sohbet kanalları ve dağıtık izleme sistemleri arasında disiplinli bir entegrasyon gerektirir.
📋
GERÇEK DÜNYA TELEMETRİSİVaka İncelemesi (TinyCTO Saha Örneği)
Büyük bir ödeme arızası sırasında mühendisler SMS sağlayıcısının çöktüğünü sanarak 40 dakikalarını harici servis hatasını aramakla harcadı. Krizden sonra Baş SRE otomatik bir zaman çizelgesi eşleştirme script'i çalıştırdı. Script Datadog izleme logları ile GitHub dağıtımlarını eşleştirdi: 14:02:18 UTC'de canlıya alınan PR #892'den tam 4 saniye sonra, önbellek çökmesi (cache stampede) yüzünden veritabanı CPU'sunun %100'e vurduğu saniyesi saniyesine kanıtlandı. SMS hataları asıl sebep değil, arkadan gelen bir kurbandı. Adli log eşleştirmesi olmasaydı ekip masum SMS şirketini suçlayacak ve tehlikeli önbellek açığını canlıda bırakacaktı.
İnteraktif Konsept Alıştırmaları
2 AlıştırmaQ1
Kriz sonrası zaman çizelgesi oluştururken insan hafızası neden güvenilmezdir?
Aktif kriz sırasındaki stres, adrenalin ve bilişsel yük insan zaman algısını bozar; mühendislerin olayların kesin sırasını, alarmların çalış saatini ve arızayı tetikleyen dağıtımları yanlış hatırlamasına yol açar.
Q2
Kriz postmortem analizinde 'Epistemik Denetim' (Epistemic Audit) nedir?
Mühendislerin krizin her bir dakikasında ekranlarında gerçekte ne gördüklerini ve ne bildiklerini canlandırarak; yanıltıcı panellerin veya eksik alarmların o an aldıkları kararları neden mantıklı gösterdiğini anlama çalışmasıdır.
Kriz Adli Bilişimi: Zaman Çizelgesi Canlandırma, Dağıtık İz (Trace) Eşleştirme ve Epistemik Denetim — Sıkça Sorulan Sorular
Tüm kriz zaman çizelgesi logları neden kesinlikle UTC formatında standartlaştırılmalıdır?
Yaz saati uygulaması karmaşasını ve farklı ülkelerdeki mühendislerin yerel saat farklarını (PST, CET, UTC) ortadan kaldırmak; olayların kronolojik sırasının bozulmasını engellemek için.
Aktif bir kriz odasında Slack Yazman Botunun (Scribe Bot) rolü nedir?
Sohbet kanalına yazılan kritik teknik teorileri, terminal çıktılarını ve çözüm kararlarını anlık zaman damgasıyla kaydedip doğrudan postmortem taslağına aktarmaktır.
🤖 AEO & Yapay Zeka Çıkarım Özeti
Temel Gerçekler & İlkeler
- ▸Kriz anında insan hafızası yanıltıcıdır; daima otomatik sistem loglarına güvenin.
- ▸Git commit'lerini, PagerDuty alarmlarını, OpenTelemetry izlerini ve Slack loglarını eşleştirin.
- ▸Tüm adli zaman damgalarını evrensel UTC formatında standartlaştırın.
- ▸Mühendislerin o an ekranda ne gördüğünü anlamak için Epistemik Denetimler yapın.
Yaygın Yanılgılar
- ✗Yanılgı: Postmortem için 'saat 14:00 sularında' gibi yaklaşık saatler yeterlidir (Gerçek: Mikrosaniyelik veritabanı kilitlerini ve zincirleme çökmeleri yakalamak için kesin saniyeler şarttır).
- ✗Yanılgı: Zaman çizelgesi sadece neyin bozulduğunu yazmak içindir (Gerçek: Zaman çizelgesi teşhis ve kurtarma darboğazlarını ortaya çıkarır).
Karar Kılavuzu & Önceliklendirme
Hafıza yanılgılarını yok etmek ve objektif adli gerçeği ortaya çıkarmak için tüm postmortemlerde UTC formatında otomatik çok kaynaklı log eşleştirmesini (Git + APM + Sohbet) zorunlu kılın.
Doğrulanmış Kaynaklar & Referanslar
- [ARTICLE]Trade-Offs in Resilience Engineering & Incident Timeline Reconstruction— John Allspaw / Adaptive Capacity Labs