> ML_LITERATURE // ETHAYARAJH-2024-KTO-MODEL-ALIGNMENT-PROSPECT-THEORY_v1.0
KTO: Model Alignment as Prospect Theoretic Optimization
Kawin Ethayarajh, Winnie Xu, Niklas Muennighoff, Dan Jurafsky, Christopher D. Manning · International Conference on Machine Learning (ICML) (2024)
algorithm2024industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Çiftli tercihler yerine eşleşmemiş ikili pozitif/negatif sinyalleri kullanarak LLM'leri doğrudan hizalayan Kahneman-Tversky Optimizasyonunu (KTO) formüle etti.
Operasyonel ve Mühendislik Uygunluğu
task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: