跳到正文
R/ArtificialInteligence· /u/no_awkward_Intention·· 3 小时前AI 评分51

利用结构化中介程序隔离 Prompt 注入的 LLM Agent 安全架构设计

Can this schema remove prompt injection from the equation?

AI 导读

作者设计了一个安全架构,让所有用户输入先经过非 LLM 的中介程序(mediator)处理,通过匹配有限模板列表将不可信文本限制在类型化表单中,确保未经过 Schema 验证的数据无法触达具有副作用的行动代理。该方案的不变式是任何未经验证的用户输入只能流向无权限操作资源的只读代理,其逻辑类似于 SQL 中的参数化查询,作者希望社区读者能对这一将模型行为限定在有限允许列表内的思路提出意见。

来源:R/ArtificialInteligence · reddit.com