Scalable Diffusion Models with Transformers (DiT)

Örtük difüzyon modellerindeki standart evrişimli U-Net omurgalarını uyarlanabilir katman normu (adaLN-Zero) ile zaman ve sınıfa koşullanan transformer bloklarıyla değiştirdi.

task-image-generation, task-video-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.

Temel Varsayımlar (Assumptions)

• Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir