跳到正文
arXiv · ML· Xiaoxue Yang, Bozhidar Stevanoski, Matthieu Meeus, Yves-Alexandre de Montjoye·· 2026-10-12AI 评分33

提示词注入防御审计:强攻击者揭示的现有评估盲区

Auditing Prompt Injection Defenses Before They Reach Users: What Strong Adversaries Reveal

AI 导读

提出利用微调中间检查点生成优化攻击的审计框架,将针对最先进防御的提示词注入攻击成功率从接近零提升至最高96%。 该框架基于GCG和BEAST等优化攻击,利用微调过程产生的中间模型作为跳板,揭示了现有评估因缺乏形式化保证而高估鲁棒性的弱点。 在部署前进行强对抗审计可缩短反馈循环,防止恶意注入在广泛部署的用户端系统中造成实际伤害。

来源:arXiv · ML · arxiv.org