跳到正文
arXiv · ML· Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng·· 2026-10-07AI 评分42

DMAST 框架如何通过双模态多阶段对抗安全训练增强多模态 Web 智能体对跨模态攻击的鲁棒性

Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks

AI 导读

DMAST 框架通过三阶段流水线将攻击成功率从 41.2% 降至 21.4%,同时将任务完成率相对提升 60% 以上(6.2% 升至 10.2%)。该框架将智能体与攻击者交互形式化为二人一般和马尔可夫博弈,结合模仿学习、oracle 引导的微调及基于 GRPO 的对抗强化学习进行共同训练。 方法在分布外任务中展现出对复杂未见环境的鲁棒泛化能力,且性能优于既有的基于训练和基于提示的防御机制。

来源:arXiv · ML · arxiv.org