> ML_LITERATURE // TOUVRON-2021-TRAINING-DATA-EFFICIENT-IMAGE-TRANSFORMERS-DISTILLATION_v1.0
Training data-efficient image transformers & distillation through attention (DeiT)
Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Hervé Jégou · International Conference on Machine Learning (ICML) (2021)
algorithm2021industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Öz dikkat yoluyla sınıf belirteçleriyle etkileşime giren bir damıtma belirteci (distillation token) ekleyerek ViT'yi devasa JFT ön eğitimi olmadan yalnızca ImageNet-1K üzerinde eğitti.
Operasyonel ve Mühendislik Uygunluğu
task-image-classification için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: