arXiv · AI· Ezra Edelman, Benjamin Edelman, Surbhi Goel, Eran Malach·· 21 天前AI 评分35
理解并缓解 LLM 中的角色伪装攻击
Understanding and Mitigating Role Spoofing in LLMs
AI 导读
研究揭示 LLM 易受结合虚假结构与内容的角色伪装(role spoofing)攻击,且前沿模型对此仍脆弱。 模型依赖内容与结构线索追踪对话身份,对抗性训练虽能缓解内容注入,但仍难以防御结构伪装。 提出基于线性探针的角色检测新方法,在不同设置下均有效。
来源:arXiv · AI · arxiv.org