arXiv · AI· Josip Vrdoljak, Akash Singh, Bas Steunebrink, Alex Yarotsky, John Lorenzo, Achille Nicoletti, Sam Pigott·· 9 天前AI 评分51
发布 ExpertCrowd-SWE 基准,评测前沿编码智能体在陌生代码库中处理专家任务的能力
ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases
AI 导读
arXiv 发布 ExpertCrowd-SWE 基准,包含 100 个由资深工程师编写的多文件软件任务,覆盖 87 个开源项目和 11 种语言,用于评测自主编码智能体在大型陌生代码库中的表现。
来源:arXiv · AI · arxiv.org