跳到正文
arXiv · AI· Shuangjie Yao, Hao Wang, Koushik Sen, Simin Chen, Baishakhi Ray, Dawn Song·· 2026-10-09AI 评分50

TestJack:通过评估器进化审计智能体编码基准的可信度

TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution

AI 导读

TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。

来源:arXiv · AI · arxiv.org