arXiv · NLP· Yuling Shi, Jinghan Xu, Kelin Fu, Wenhao Zeng, Shilin He, Lei Zhang, Yue Liu, Zelin Zhao, Terry Yue Zhuo, Jialun Cao, Siyu Ye, Tianyu Liu, Kai Cai, Shing-Chi Cheung, Xiaodong Gu·· 9 小时前AI 评分35
SWE-Bench ProMax：大规模多语言代码重构基准测试
SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
AI 导读
研究者推出多语言代码重构基准 SWE-Bench ProMax，包含 170 个来自真实代码提交的任务实例，覆盖 7 种编程语言。 每个任务平均涉及 11.5 个文件的修改和 261.6 行代码的变更，实验显示当前表现最佳的模型解析率仅为 41.2%，验证了该基准测试的挑战性。
来源：arXiv · NLP · arxiv.org