systemic incident

Systemic incident, hiçbir servisin kendi başına teknik olarak "yanlış" bir şey yapmadığı ama zincirleme reaksiyonla büyüyen bir çöküştür. Incident, tasarlandığı gibi çalışan birden fazla servisin birbirini tetikleyerek beklenmedik felaket bir duruma yol açmasıyla ortaya çıkar.

• A Servisindeki normal bir davranış, B Servisinde defansif bir davranışı tetikler.
• B Servisi throttle uygular ve bu da C Servisinde bir retry fırtınasına neden olur.
• C Servisi veritabanı connection pool'unu tüketerek tüm uygulamayı çökertir.

Bu incident'ları debug etmek son derece zordur çünkü lokal monitoring araçları, sistemik bir geri bildirim döngüsü tarafından ezilene kadar her bir bileşenin doğru çalıştığını gösterir.