> ML_LITERATURE // WANG-2019-SUPERGLUE-STICKIER-BENCHMARK-GENERAL-LANGUAGE-UNDERSTANDING_v1.0
SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems
Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman · Advances in Neural Information Processing Systems (NeurIPS) (2019)
benchmark2019industry-standardartifactsAvailable
Temel Katkı (Principal Contribution)
BERT orijinal GLUE'yu doyurduktan sonra zorlu akıl yürütme görevleriyle GLUE'nun yerini alan çok daha zor bir kıyaslama tasarladı.
Operasyonel ve Mühendislik Uygunluğu
task-natural-language-inference, task-question-answering için dağıtım seçimlerini ve mimari belirlemeyi doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Değerlendirme alanları genelinde standart ampirik düzenlilik ve istatistiksel kararlılık geçerlidir
Kısıtlar ve Sınırlamalar (Limitations)
- Performans özellikleri alan dağılımına ve hesaplama tahsisi parametrelerine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: