跳到正文
arXiv · AI· Zhixiang Zhang, Zesen Liu, Wai Ip Lai, Hongxu chen, Dongdong She·· 6 小时前AI 评分20

自进化 Agent 框架演化的组合式安全失效识别与运行时监控

Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring

AI 导读

针对自进化 Agent 框架组件交互引发的组合式安全失效,提出基于带类型超图的运行时监控机制。在三个基准测试中识别出 43 种两两交互失效和 18 种不可约三元失效,通过局部更新超图显著降低验证成本。实验表明该方法在有效缓解安全风险的同时保持了任务效用,并揭示了安全性、效用与成本之间的权衡关系。

来源:arXiv · AI · arxiv.org