Scalable Diffusion Models with Transformers (DiT)

Gizil difüzyondaki geleneksel U-Net omurgalarını Vision Transformer'lar (DiT) ile değiştirerek üretici difüzyon için öngörülebilir hesaplama ölçekleme yasalarını kanıtladı.

Yeni nesil difüzyon sistemlerini güçlendiren temel mimari omurga: OpenAI Sora, Stable Diffusion 3, Flux.1 ve PixArt.

Temel Varsayımlar (Assumptions)

• Uyarlanabilir katman normu koşullandırması ile gizil yama dizileri üzerinde çalışmak, artan model kapasitesi ve hesaplama ile sorunsuz şekilde ölçeklenir

Kısıtlar ve Sınırlamalar (Limitations)

• Pencereli veya doğrusal dikkat mekanizmaları olmadan yüksek çözünürlüklü gizil yama dizilerinde karesel dizi ölçeklenmesi