跳到正文
arXiv · AI· Xing Han L\`u, Dheeraj Vattikonda, Sina Hajimiri, Fatemeh Pesaran Zadeh, Parishad BehnamGhader, Ghazwa Darwiche, Amirhossein Kazemnejad, Christopher Pal, Alexandre Drouin, Siva Reddy·· 2026-10-09AI 评分36

AgentHorizon:评估长时程计算机使用任务中的智能体裁判

AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks

AI 导读

新基准 AgentHorizon 发布,包含 1373 个计算机使用任务,源自 166 小时人工记录轨迹,覆盖三种操作系统。 评估 11 个裁判模型时,最佳智能体裁判 GPT-5.5 在 AH 子集上取得 80.9% 平衡准确率,处理多达 300 张截图。 研究揭示工具使用提升部分模型表现,但使开源权重模型表现变差,凸显长交互史中验证隐藏证据的必要性。

来源:arXiv · AI · arxiv.org