arXiv · AI· Yangze Liu (Shandong University)·· 3 小时前AI 评分31
Agent 排行榜因隐藏评分错误导致排名失真
Silent Instrument Errors Reorder Agent Leaderboards
AI 导读
审计发现公共 Agent 排行榜存在评分器故障,导致通用 Agent 得分被低估 13 分,且排名顺序发生错误重排。 HAL 和 tau2-bench 存在成本重复计算、操作归属混淆及版本错配问题,重新评估可使分数偏差达 59-82 点且无报错。 建议报告评分比例、标记动作来源及锁定评估器版本,以暴露评估基础设施中的静默测量错误。
来源:arXiv · AI · arxiv.org