跳到正文
arXiv · AI· Igor Slinko, Yaroslav Golubev, Sergey Titov·· 2026-10-08AI 评分25

编码智能体基准测试应匹配用户任务流

Coding-Agent Benchmarks Should Match Their Users' Task Flows

AI 导读

基于4782个真实工程师JetBrains IDE会话,提出SWE-TaskFlow方法。该方法通过提示词拆分将issue衍生基准测试校准至目标任务流,使用TFAS筛选轨迹。在700个SWE-Bench Pro任务中,分步交互使成本翻倍但解决率未变。

来源:arXiv · AI · arxiv.org