跳到正文
arXiv · ML· Joshua Penman·· 7 天前AI 评分34

Semantic Overlays 利用超越 Token 和 steering vectors 的注解缓解提示注入

Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors

AI 导读

语义覆盖(Semantic Overlays)通过冻结模型的残差流编辑缓解提示注入攻击,无需修改输入文本即可标记不可信来源。 在 SEP 和 AlpacaFarm 等基准测试中,SEP 分离率从 24.3% 升至 98.8%,AlpacaFarm 攻击成功率从 99.0% 降至 0.5%。

来源:arXiv · ML · arxiv.org