SWE-Bench+: Enhanced Coding Benchmark for LLMs

Large Language Models (LLMs) in Software Engineering (SE) can offer assistance for coding. To facilitate a rigorous evaluation of LLMs in practical coding contexts, Carlos et al. introduced the SWE-bench dataset, which comprises 2,294 real-world GitHub issues and their corresponding pull requests, c...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	arXiv.org 2024-10
Hauptverfasser:	Aleithan, Reem, Xue, Haoran, Mohammad Mahdi Mohajer, Nnorom, Elijah, Uddin, Gias, Wang, Song
Format:	Artikel
Sprache:	eng
Schlagworte:	Coding Datasets Empirical analysis Large language models Leakage Software engineering
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!