> ML_ALGORITHM // SELF-DISTILLATION-DINO_v1.0
Etiketsiz Kendi Kendine Damıtma (DINO ve DINOv2)
Denetimsiz eğitimi etiketsiz kendi kendine damıtma olarak yorumlayan ve yorumlanabilir dikkat segmentasyonları üreten Vision Transformer çerçevesi.
Self-Distillation Visual Learningself-supervisedmoderate-posthoclarge (>100k)
Tüm Algoritmalara DönHesaplama Karmaşıklığı
Eğitim (Training):O(epochs * crops * ViT_forward)
Çıkarım (Inference):O(ViT_forward)
Donanım Karakteristiği
CPU Uygunluğu:Hayır
GPU Zorunluluğu:Evet
Bellek Ayak İzi:high
Açıklanabilirlik ve Veri
Açıklanabilirlik Düzeyi:moderate-posthoc
Eğitim Verisi İhtiyacı:large (>100k)
Açıklanabilirlik Değerlendirmesi
ViT öz dikkat kafaları, açık piksel düzeyinde denetim olmadan nesneleri ve sahne semantiğini doğal olarak segmentlere ayırır.
Uygun Görevler ve Desteklenen Modaliteler
Uygun Görevler:
feature extractionimage segmentationdepth estimation
Desteklenen Modaliteler:
image
Uygulayıcı Kütüphaneler
Temel Literatür & Yayınlar
Emerging Properties in Self-Supervised Vision Transformers (DINO)Mathilde Caron, Hugo Touvron (2021) · IEEE International Conference on Computer Vision (ICCV)
DINOv2: Learning Robust Visual Features without SupervisionMaxime Oquab, Timothée Darcet (2023) · arXiv preprint
Sık Karşılaşılan Hatalar ve Dikkat Edilmesi Gerekenler
- Uygun olmayan momentum öğretmen sıcaklık kalibrasyonu, temsil entropisi çöküşüne veya tekdüze çıktı dağılımına yol açar