Kaos Oyun Günleri & Hata Enjeksiyon Tatbikatları

Q: Kaos Mühendisliği prodüksiyon ortamında güvenle yürütülebilir mi?

Evet, çok küçük trafik yüzdeleriyle (canary) başlayarak ve dayanıklılık staging ortamında kanıtlandıktan sonra etki alanı kademeli genişletilerek.

Q: En yaygın kaos enjeksiyon senaryoları nelerdir?

Konteyner podlarını kapatmak, ağ gecikmesi/paket kaybı eklemek, disk doluluğu simüle etmek ve veritabanı ağ bağlantısını koparmak.

Q: Bir mühendislik organizasyonu ne sıklıkla Oyun Günleri (Game Day) düzenlemelidir?

Standart ürün ekipleri için çeyreklik, çekirdek altyapı ve SRE ekipleri için aylık olarak.

Stack: THE CHAOS STACK →Staff+ (L6+)protocol

ÖZET VE TEKNİK CEVAP

Gerçek krizler gece 3'te vurmadan önce; gizli mimari kusurları keşfetmek, alarm mekanizmalarını doğrulamak ve nöbetçi reflekslerini kontrollü şartlarda eğitmek için.

Mühendislik El Kitabı & Mekanizma

1. Temel Çalışma Mekanizması

Kaos Mühendisliği; bir sistemin çalkantılı koşullara dayanma kapasitesine güven inşa etmek için sistem üzerinde kontrollü deneyler yapma disiplinidir. Bir Oyun Günü (Game Day); ekibin bir hipotez kurduğu (örneğin 'Redis çökerse uygulama <2 saniyede sıfır hatayla salt-okunur moda geçer'), kontrollü hata enjekte ettiği (Chaos Mesh, Toxiproxy) ve telemetri ile otomatik toparlanmayı doğruladığı planlı bir tatbikattır.

2. Doğru Kullanım Senaryosu

Tüm dağıtık mimariler, çok bölgeli bulut yapıları ve kritik ödeme ya da sağlık platformlarında zorunludur.

3. Prodüksiyon Arıza Modları

Efsane Cuma günü birincil veritabanı çöktüğünde, ikincil replikanın şifresinin hiç ayarlanmadığının ilk kez o an fark edilmesi ve sistemin tamamen çökmesi.

4. Teşhis ve Telemetri Sinyalleri

Ekiplerin rutin veritabanı restartı yapmaktan korkması; kritik altyapı bağımlılıkları için MTTR süresinin bilinmemesi; alay alarmlarının yapay gecikmeyle hiç test edilmemesi.

5. Önleme ve Mimari Bariyerler

Hata enjeksiyonuna başlamadan önce her zaman net bir etki alanı (blast radius) ve anında acil durdurma anahtarı tanımlayın; deneyleri önce staging'de yapıp sonra canlı canary trafiğine geçirin.

6. Mimari Ödünleşimler (Trade-offs)

Dakika altı kriz çözümü ve kanıtlanmış dayanıklılık karşılığında hazırlık eforu ve gelişmiş kaos araçları gerektirir.

Vaka İncelemesi (TinyCTO Örneği)

TinyCTO Bölüm 17: Bir Kaos Tatbikatında ekip AWS us-east-1 bölgesinin çöktüğü senaryoyu denedi. DNS failover ayarında 24 saatlik TTL önbellek hatası olduğunu keşfettiler. Bu hatayı tatbikatta çözmek 2 ay sonraki gerçek kesintide şirketi kurtardı.

İnteraktif Konsept Alıştırmaları

3 Alıştırma

Kaos Mühendisliğinin birincil amacı nedir?

Gizli sistemik zafiyetleri, canlıda yıkıcı kesintilere yol açmadan önce proaktif olarak ortaya çıkarmaktır.

Bir Kaos Tatbikatında 'Acil Durdurma Anahtarı' (Abort Switch) nedir?

Beklenmeyen bir hasar oluştuğunda hata enjeksiyonunu derhal durdurup normal trafiği geri yükleyen mekanizmadır.

Kaos deneyleri neden mutlaka bir hipoteze dayanmalıdır?

Çünkü beklenen kararlı durum tahmini olmadan sistemleri rastgele bozmak hiçbir bilimsel içgörü sağlamaz.