arXiv · NLP· Tianyu Ding, Yaocheng Tong, Muzhi Yang, Fei Jiang, Lei Yang, Boya Yu·· 2026-10-14AI 评分36
重跑 Coding-Agent 评测:决策不变,策略风险未解
Re-executing Coding-Agent Evaluations: Unchanged Decisions and Unresolved Policy Risk
AI 导读
两项预设重执行研究显示,SWE-bench Pro v1 在离线选项中,59 个已接受的 Go 补丁因配置变更未被拒绝。 其非加权探索性上限置信度下限为 4.95%,留下 3% 的已接受补丁风险未解决。 重跑 1,929 个 Darwin Gödel Machine 评估保留了最优智能体选择与系统变体排名。
来源:arXiv · NLP · arxiv.org