跳到正文
arXiv · AI· Yerin Nam, Minkyung Cho, MinKyu Kim, SeungWoo Song, Hangyeol Yoo, Jihyo Kim, KyungTae Lim·· 3 天前AI 评分20

EVIDENT:评估 GUI 智能体证据基础的新基准

EVIDENT: Evaluating Evidence Grounding in GUI Agents

AI 导读

EVIDENT 是一个包含 220 项真实任务的新基准,用于评估 GUI 智能体决策是否基于可观察证据。 通过 TSR、ESR 和 GSR 三项指标区分表面任务完成与证据基础成功,实验显示在上下文和视觉任务中两者存在显著差距。 该工作揭示了当前评估方法可能高估智能体可靠性的问题。

来源:arXiv · AI · arxiv.org