跳到正文
arXiv · AI· Charles Xiao·· 7 天前AI 评分29

工具使用型 AI 智能体中的弃权操纵攻击研究

When Safety Becomes an Attack Surface: Manipulating Abstention in Tool-Using AI Agents

AI 导读

研究揭示了利用伪造风险警告诱导 AI 智能体过度弃权的可用性攻击。在 51 个 AgentAbstain 任务对中,Gemini 的过度弃权率从 9.8% 激增至 86.3%,且“谨慎优先”提示词加剧了此效应。 验证前弃权协议通过权威记录校验警告可提升合法完成率,但其在处理伪造和敏感内容时仍存在局限性。

来源:arXiv · AI · arxiv.org