> runbook_otomasyonu_&_sözlü_bilgi_birikimi

Runbook Otomasyonu & Sözlü Bilgi Birikimi

Mühendislik ekipleri sözlü operasyonel bilgiyi nasıl ortadan kaldırır ve eskiyen runbook sorununu nasıl önler?

Stack: THE CHAOS STACK →Senior (L5-L6)pattern

⚡ÖZET VE TEKNİK CEVAP

Statik wiki yazılarını çalıştırılabilir kod betiklerine dönüştürerek, runbook linklerini doğrudan alarm bildirimlerine gömerek ve kurtarma adımlarını staging ortamında otomatik test ederek.

Mühendislik El Kitabı & Mekanizma

6 Boyutlu Mimari Analiz

⚙️1. Temel Çalışma Mekanizması

Mekanizma

Wiki sayfalarına yazılan statik runbook'lar mimari değiştikçe kaçınılmaz olarak güncelliğini yitirir. Çalıştırılabilir runbook'lar operasyonel adımları versiyon kontrolünde kod olarak saklar. İzleme sisteminde bir alarm çaldığında, bildirim gövdesi doğrudan ilgili runbook komutuna link verir veya ön kontrolleri olan otomatik iyileştirme hattını tetikler.

🎯2. Doğru Kullanım Senaryosu

Kapsam

Çok katmanlı nöbet rotasyonlarında kriz müdahalesini standartlaştırmak ve Ortalama Kurtarma Süresini (MTTR) düşürmek için zorunludur.

⚠️3. Prodüksiyon Arıza Modları

Kritik Risk

Nöbetçi bir mühendisin kesinti anında 2 yıllık eski wiki komutunu çalıştırması ve CLI parametreleri değiştiği için prod veritabanı kümesini tamamen silmesi.

📡4. Teşhis ve Telemetri Sinyalleri

Metrikler

✓
Acil durum Slack kanallarında mühendislerin sürekli 'X servisini nasıl yeniden başlatıyoruz' diye sorması
✓
runbook'ların kırık linkler içermesi

🛡️5. Önleme ve Mimari Bariyerler

Bariyerler

✓
Her Prometheus alarm kuralına zorunlu runbook URL'i ekleyin
✓
runbook komutlarını rutin Kaos Tatbikatlarında test edin
✓
tekrarlayan adımları kendi kendini onaran operatörlere dönüştürün

⚖️6. Mimari Ödünleşimler (Trade-offs)

Ödünleşim

Operasyonel kodları canlı uygulama koduyla birlikte sürekli güncel tutmak için devamlı mühendislik bakımı gerektirir.

📋

Vaka İncelemesi (TinyCTO Saha Örneği)

GERÇEK DÜNYA TELEMETRİSİ

TinyCTO Bölüm 24: Önbellek worker'ındaki bellek sızıntısı her 4 saatte bir pod restart gerektiriyordu. Ekip bellek eşiğini izleyip güvenli restart atan bir Kubernetes operatörü yazdı ve haftada 20 gereksiz alarmı yok etti.

İnteraktif Konsept Alıştırmaları

3 Alıştırma

Çalıştırılabilir Runbook (Executable Runbook) nedir?

Statik ve test edilmemiş metinler yerine çalıştırılabilir kod, betik veya interaktif not defterleri olarak yazılmış operasyonel kılavuzdur.

Statik wiki runbook'ları Sev-1 krizlerinde neden patlar?

Çünkü kod değiştikçe güncellenmezler; eski parametreler, kırık linkler ve geçersiz yetkiler içerirler.

Runbook linkleri her zaman nereye yerleştirilmelidir?

Nöbetçi mühendisi uyandıran alarm bildiriminin ve çağrı cihazı mesajının doğrudan içine.