Otomatik Sistemlerde İnsan Kararları İçin JUDGE Çerçevesi
JUDGE çerçevesini uygulayın: Yetki Alanı (Jurisdiction), Belirsizlik (Uncertainty), Risk/Kayıp (Downside), Kanıt Zemini (Grounding) ve Eskalasyon (Escalation). Belirsiz denetim taleplerini test edilebilir beş somut karar kontrolüne dönüştürür. İnsan muhakemesi; bir sistem kararı bağlamı, yetkiyi veya hesap verebilirliği kaybetmeden sabit bir kurala indirgeyemediği noktalarda devreye girer. Sembolik bir onay kutusu değil, sistemin operasyonel güvenlik kalkanıdır.
01.Öngörülebilir bir TinyCTO Olayı
Ajanın güven skoru çok yüksekti, operatörün hiçbir yetkisi yoktu ve müşterinin geri dönüş yolu kalmamıştı. Sürece dahil olan herkes kararın başkasına ait olduğunu varsaydı. Sorun bir insanın arayüzde olmaması değil; niyetin, kanıtın, yetkinin ve sorumluluğun birbirinden kopmasıdır.
02.Temel İlke
JUDGE çerçevesi kritik otomasyonlar onaylanmadan önce ve sistem bilinmeyen bir durumla karşılaştığı her anda çalıştırılmalıdır. Bir etik posteri değil; tasarım ve çalışma anı kontrol listesidir.
03.İyi Bir Uygulama Nasıl Görünür?
- Yetki Alanı (Jurisdiction): Karar ve iptal yetkisine sahip kişiyi/rolü belirleyin. - Belirsizlik (Uncertainty): Sistemin bilmediği veya doğrulayamadığı noktaları açıkça sergileyin. - Risk/Kayıp (Downside): Olası zararı, etki alanını ve geri alınabilirliği modelleyin. - Kanıt Zemini (Grounding): Kanıtları, veri kaynağını, kısıtları ve çelişkili sinyalleri gösterin. - Eskalasyon (Escalation): Durdurma koşullarını, yanıt sürelerini ve devir sürecini tanımlayın.
04.Yaygın Arıza Modları ve Karşı-Desenler
- Çerçevenin yalnızca bir kez doldurulup çalışma anında asla test edilmemesi. - Güven skorunun kanıt yerine konması. - Eskalasyonda sorumlu bir kişi yerine belirsiz bir ekip adının geçmesi. - Risk analizinde sistem operatörü dışındaki paydaşların göz ardı edilmesi.
05.Pratik Değerlendirme Soruları
1. Amacın sahibi kim ve sistemi kim durdurup düzeltebilir? 2. Hangi kanıtlar, belirsizlikler ve alternatifler görünür kılınmış? 3. Olası en kötü senaryo nedir ve işlem geri alınabilir mi? 4. Sistem hangi koşulda duraklamalı ve insana devretmelidir? 5. Bu karar politikaları ve otomasyon kalitesini nasıl geliştirecek?
OTONOMİDEN ÖNCE JUDGE > Sistemin %99.999 çalışma süresi vardı; ancak kararın tek bir sahibi bile yoktu.