跳到正文
arXiv · AI· Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan·· 13 小时前AI 评分22

PIPETTE:用于鲁棒 LLM 智能体提示注入紫队的框架

PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents

AI 导读

PIPETTE 提出一种提示注入紫队框架,通过在 AgentDojo 和 ASB 基准测试中实现近乎零的攻击成功率(ASR),同时保持与未防御基线接近的良性任务效用。 该框架采用基于词典学习的奖励机制鼓励攻击策略的广泛覆盖,并结合针对间接提示注入(IPI)防御的在线策略对抗训练流程。 此方法解决了现有基于强化学习红队方法中存在的模式坍缩问题,将红队发现有效转化为防御方的鲁棒性提升。

来源:arXiv · AI · arxiv.org