arXiv · AI· Shiqi Zhang, Guochen Zhou, Zesheng Wei, Hai Zhao, Zhisong Zhang·· 21 天前AI 评分24
DynaRev:动态目标修正下的 Web 智能体基准测试
DynaRev: Benchmarking Web Agents under Dynamic Goal Revision
AI 导读
研究团队发布包含 181 项任务的基准测试 DynaRev,用于评估 Web 智能体在动态目标修正下的表现。测试涵盖添加性修正、无条件覆盖及运行时条件覆盖等类型,并通过轨迹评估准确性、响应性和效率。五个模型的评估显示,智能体通常仅满足部分任务要求,性能随任务来源、修正类型和模型而异。
来源:arXiv · AI · arxiv.org