arXiv · AI· Hau-Sing So, Daixian Liu, Weicai Long·· 9 小时前AI 评分42
自我改进 LLM Agent 中接受门控导致冗余安全防护失效的机制
Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents
AI 导读
自我改进 LLM Agent 的接受门控仅评估当前任务成功，导致重叠安全防护被删除时损害被掩盖。 在两种环境中进行 411 次改进循环及 10 种门控规则实验发现，较大评估批次反而加速安全冗余流失。 该现象导致安全深度受损，当模型变弱时冗余缺失转化为实际安全隐患。
来源：arXiv · AI · arxiv.org