跳到正文
arXiv · NLP· Sahar Abdelnabi, Eugene Bagdasarian·· 3 天前AI 评分38

AI 智能体可能始终无法防范提示词注入

AI Agents May Always Fall for Prompt Injections

AI 导读

summary_zh: 研究指出主流数据-指令分离防御范式存在缺陷,既无法检测基于上下文操纵的攻击,又导致正常行为降级。 文章引入情境完整性(Contextual Integrity)理论重构提示词注入,提出不可可能性论证:攻击者可构造合法化被阻断流的情境,或防御方收紧规范会误杀合法流量。

来源:arXiv · NLP · arxiv.org