> ML_DATASET // SWE-BENCH-DATASET_v1.0
SWE-bench: Real-World GitHub Software Engineering Issues
Princeton NLP (Jimenez et al.) · Software Engineering & Autonomous Agents · 2,294 real-world GitHub issues and pull request test patches across 12 popular open-source Python repos
Software Engineering & Autonomous AgentsMIT2,294 real-world GitHub issues and pull request test patches across 12 popular open-source Python reposopen
Veri Profili ve Özellikler
Etiket Tipi:Gold patch commit diff and unit test verification suite (PASS_TO_PASS and FAIL_TO_PASS)
Diller:en, code
Lisans Seviyesi:permissive-open-source
Modaliteler:text, code
Amaçlanan Kullanım (Intended Use)
- Birim test yürütmesiyle uçtan uca hata çözmede otonom yapay zeka kodlama ajanlarını değerlendirme
Yasaklanan / Kaçınılması Gereken Kullanım
- Docker konteyner yalıtımı olmaksızın yalıtılmamış yürütme
Önyargı, Veri Sızıntısı ve Gizlilik Risk Analizi
Kişisel Veri Riskleri (Privacy Risks):
Kamuya açık GitHub sorunları; commit günlüklerindeki geliştirici kullanıcı adları.
Bilinen Önyargılar (Known Bias):
Python açık kaynak kütüphane mühendisliği uygulamaları (Django, SymPy vb.).
Veri Sızıntısı Riski (Known Leakage):
Eski modellerin ön eğitim kesme tarihleri eğitim deposu geçmişini içerir.