跳到正文
arXiv · AI· Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu·· 2026-10-06AI 评分31

AgentLens 揭示 SWE-Agent 评测中的“幸运通过”问题

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

AI 导读

研究评估 2,614 条 OpenHands 轨迹,发现 10.7% 的成功案例属于依赖试错而非逻辑的“幸运通过”。 AgentLens-Bench 包含 1,815 条标注轨迹,不同模型后端的幸运通过率差异达 0.5% 至 23.2%,排名可能变动五个位次。 该框架通过过程级评估,区分了混乱试错与严谨解决,提升了 SWE 智能体评测的有效性。

来源:arXiv · AI · arxiv.org