arXiv · AI· Yuan Xiong, Linji Hao, Shizhu He, Ken Deng, Yequan Wang, Lijun Li·· 4 小时前AI 评分35
Janus:面向长时程智能体安全的潜在风险预测框架
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
AI 导读
研究者提出 Janus 框架,通过多智能体模拟合成轨迹,并采用 CoAA-RL 联合优化预期与安全裁决任务。其派生的守卫模型 Vanguard 在四个基准测试中,较基线模型提升 15.9 个百分点的平均保护率,同时增加 5.1 个百分点的良性任务完成率。该框架将智能体安全从内容审查转向操作失败预防。
来源:arXiv · AI · arxiv.org