arXiv · AI· Rongting Zhang, Martin Bertran, Sandeep Avula, Chia-Jung Lee, Vanessa Murdock·· 23 小时前AI 评分28
任务篡改攻击下的间接提示注入基准测试
Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks
AI 导读
研究者定义了90例基于权限边界的间接提示注入基准,攻击者通过篡改任务执行结果而非重定向任务来实施攻击。 在5个大语言模型测试中,针对决策规则、可用动作及状态模型的无防御平均成功率高于针对目标模型的攻击;检测删除防御虽将目标攻击成功率降至2.4%,但仍留有9.5%的观察和12.1%的状态攻击漏洞。 现有防御机制对此类攻击存在覆盖不足的问题,代码和数据已开放获取。
来源:arXiv · AI · arxiv.org