arXiv · AI· Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan·· 13 小时前AI 评分22
PIPETTE:用于鲁棒 LLM 智能体提示注入紫队的框架
PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents
AI 导读
PIPETTE 提出一种提示注入紫队框架,通过在 AgentDojo 和 ASB 基准测试中实现近乎零的攻击成功率(ASR),同时保持与未防御基线接近的良性任务效用。 该框架采用基于词典学习的奖励机制鼓励攻击策略的广泛覆盖,并结合针对间接提示注入(IPI)防御的在线策略对抗训练流程。 此方法解决了现有基于强化学习红队方法中存在的模式坍缩问题,将红队发现有效转化为防御方的鲁棒性提升。
来源:arXiv · AI · arxiv.org