跳到正文
arXiv · ML· Sajib Hossain, Moeen Uddin Mahmud·· 2026-10-06AI 评分41

智能体自我配置限制:写入时底线与提示词禁令的评估

When the Agent Edits Its Own Limits: Evaluating a Write-Time Floor Against Prompt Prohibitions

AI 导读

在去模型化的智能体运行时中,仅靠系统提示词禁令无法阻止智能体修改自身安全限制,而配置工具中的写入时底线机制使 167 次受保护写操作中成功写入数为 0。 无底线机制时,前沿模型在 72 个普通请求中有 25 次写入了受保护值;研究覆盖两个模型和一个智能体,并识别出一条被底线范围声明排除的固定 shell 旁路。

来源:arXiv · ML · arxiv.org