arXiv · AI· Xunjian Yin, Tianchen Guan, Jinao Wang, Weili Cao, Daisy Xinlei Lin, Royce Cheng-Yue, Keagan Long, Kyle Wong, Bhuwan Dhingra, Xiangjun Wang, Shuyan Zhou·· 6 小时前AI 评分43
BreakingWeb：通过受控环境干预构建高难度浏览器代理基准
Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions
AI 导读
研究团队提出基准 BreakingWeb，包含 519 个任务对，通过受控干预使 6 个浏览器代理平均通过率下降 22.9 个百分点。 这些干预改变网站内容、服务器状态或网络响应，而人类用户首试通过率仅下降 10.0 个百分点。 75% 的代理失败源于信念错误，即代理在未完成必要更改时宣告任务结束。
来源：arXiv · AI · arxiv.org