TPU Node

Normal Davranış

Google tarafından geliştirilen, yapay zeka hızlandırıcı uygulamaya özel entegre devre (application-specific integrated circuit - ASIC).

Çöküş Davranışı

Yük altında istekleri düşürebilir (drop) veya düşürülmüş (degraded) moda geçebilir.

İş Sonuçları

Bir Tensör İşlem Birimi (Tensor Processing Unit - TPU) Düğümünün (Node) arızalanması, devasa makine öğrenimi (machine learning) eğitim işlerini veya yüksek verimli (high-throughput) yapay zeka çıkarım (AI inference) ardışık düzenlerini aniden durdurur. TPU'lar hiper-özel ve pahalı olduğundan, bir arıza önemli miktarda işlem bütçesini (compute budget) boşa harcar ve günlerce veya haftalarca süren model eğitim ilerlemesini sıfırlar. Üretimdeki yapay zeka hizmetleri için, iş yükleri daha yavaş CPU'lara geri döndüğünden (fallback), çıkarım gecikmesi (inference latency) katlanarak artar.

Görsel Tezahür

"TensorFlow veya PyTorch eğitim döngüleri (training loops) donanım yürütme (hardware execution) hatalarıyla çöker. Bulut konsolları (cloud consoles), TPU düğümü durumunun 'Sağlıksız' (Unhealthy) veya 'El konulmuş' (Preempted) durumuna geçtiğini gösterir."

Satirical Behavior

"An incredibly expensive, liquid-cooled piece of silicon magic that spends most of its time sitting idle while data scientists try to figure out why their python script won't compile."

Teknik Terminoloji

Hata Göstergeleri