arXiv · AI· Yerin Nam, Minkyung Cho, MinKyu Kim, SeungWoo Song, Hangyeol Yoo, Jihyo Kim, KyungTae Lim·· 3 天前AI 评分20
EVIDENT:评估 GUI 智能体证据基础的新基准
EVIDENT: Evaluating Evidence Grounding in GUI Agents
AI 导读
EVIDENT 是一个包含 220 项真实任务的新基准,用于评估 GUI 智能体决策是否基于可观察证据。 通过 TSR、ESR 和 GSR 三项指标区分表面任务完成与证据基础成功,实验显示在上下文和视觉任务中两者存在显著差距。 该工作揭示了当前评估方法可能高估智能体可靠性的问题。
来源:arXiv · AI · arxiv.org