arXiv · NLP· Zhiyi Liu, Haohua Du, Haoqi Sun, Haisheng Tan·· 21 天前AI 评分26
AgentHeal:评估网络智能体在访问受阻时的目标保持资源恢复能力
AgentHeal: Evaluating Goal-Preserving Resource Recovery of Web Agents under Access Barriers
AI 导读
该研究提出 AgentHeal 基准,用于评估网络智能体在面临访问障碍时,识别永久性阻碍、转向合法替代来源并保持用户原始目标的能力。 在涵盖九类障碍家族的测试中,主流 LLM 骨干的平均任务成功率从 89.4% 骤降至 43.7%。 分析表明智能体常陷入欺骗性相似源、未能适时升级求助、违反访问政策或浪费计算资源进行无效重试,为开发更具韧性的网络智能体提供了可操作诊断。
来源:arXiv · NLP · arxiv.org