跳到正文
arXiv · AI· Wanjing Han, Levi Taiji Li, Mu Zhang, Yue Jiang, Guanhong Tao·· 2026-10-08AI 评分28

WebMirage 框架:劫持基于视觉定位的网络智能体从定位到浏览器执行

Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution

AI 导读

新框架 WebMirage 通过局部视觉扰动,使网络智能体选择攻击者控制的内容并执行对应浏览器操作,端到端攻击成功率平均达 91.9%。 该框架利用角色槽位抽象和网页重组来捕捉元素竞争,并通过数据流分析对齐动作后处理。 WebMirage 在四个智能体配置和六个视觉语言模型骨干网络上进行测试,其表现显著优于最强基线模型的 17.4%。

来源:arXiv · AI · arxiv.org