跳到正文
arXiv · AI· Haoran Bu, Yiting Shen, Litian Zhang, Ruihan Hu, Xi Zhang·· 9 小时前AI 评分38

角色接地攻击:通过社交交互利用大模型Agent记忆中的角色归属漏洞

Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction

AI 导读

研究人员首次提出角色接地攻击(RGA),利用嵌套对话结构导致Agent将攻击者偏好错误归属给受害者用户。 RGA通过工具选择操纵和隐私泄露两种方式实施,在5种主流记忆系统和6种语言模型中测试显示高攻击成功率。 该研究揭示了现有Agent记忆系统在角色到主体归属上的脆弱性,呼吁加强角色接地机制。

来源:arXiv · AI · arxiv.org