> ML_LITERATURE // LIU-2021-SWIN-TRANSFORMER-HIERARCHICAL-VISION-TRANSFORMER-SHIFTED-WINDOWS_v1.0
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo · IEEE International Conference on Computer Vision (ICCV) (2021)
seminal-architecture2021industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Öz dikkat hesaplamasını doğrusal hesaplama karmaşıklığı ile yerel çakışmayan pencerelerle sınırlayan kaydırılmış pencere öz dikkatini tanıttı.
Operasyonel ve Mühendislik Uygunluğu
Yüksek çözünürlüklü tespit ve segmentasyon için önde gelen yoğun tahmin omurgası olarak hizmet veren ICCV En İyi Makale (Marr Ödülü) mimarisi.
Temel Varsayımlar (Assumptions)
- Kaydırılmış pencere bölümlemesi görüntü boyutuna göre doğrusal hesaplama karmaşıklığını korurken pencereler arası bağlantılar sağlar
Kısıtlar ve Sınırlamalar (Limitations)
- Standart küresel Vision Transformer'lara göre daha karmaşık uygulama ve CUDA çekirdek zamanlaması