arXiv · AI· Mustafa S. Aljumaily, Nawar S. Alseelawi, Raghad Alshabandar·· 10 天前AI 评分50
工具使用智能体提示词注入防御:确定性策略执行、人工审批与污点追踪
Treating the Model as an Untrusted Component: Deterministic Policy Enforcement, Human Approval and Taint Tracking Against Prompt Injection in Tool-Using Agents, with Validation on Open-Weights Models
AI 导读
该研究在 13 项任务和 12 个工具环境中,通过 156 个攻击回合对比模型内防御与确定性外部执行机制。 Qwen2.5-1.5B 和 Qwen2.5-7B 在任务绑定监控器下的攻击合规率分别为 64% 和 84%,该监控器准入率仅为 1.3% 和 7.7%。 模拟表明无确定性监控器的人工审批易受攻击,而任务绑定监控器可将严重操作保持为 0.0%。
来源:arXiv · AI · arxiv.org