arXiv · AI· Igor Slinko, Yaroslav Golubev, Sergey Titov·· 2026-10-08AI 评分25
编码智能体基准测试应匹配用户任务流
Coding-Agent Benchmarks Should Match Their Users' Task Flows
AI 导读
基于4782个真实工程师JetBrains IDE会话,提出SWE-TaskFlow方法。该方法通过提示词拆分将issue衍生基准测试校准至目标任务流,使用TFAS筛选轨迹。在700个SWE-Bench Pro任务中,分步交互使成本翻倍但解决率未变。
来源:arXiv · AI · arxiv.org