双分层评估揭示工具智能体监控偏差

针对工具使用智能体评估中存在的冲突结果，研究指出这主要是评估伪影，并提出了双重分层协议，旨在将提示注入的接触与行为承诺在评估及训练数据层面进行分离。早前的混合对比学习多关注接触层面，而非实际的不安全行为，该协议对此进行了修正。在基于 Qwen AgentDojo 网格的实验中，利用暴露案例重训练的监控器展现出预测能力，可提前两步预测不安全调用。性能数据显示，Qwen 模型逻辑 AUROC 为 0.853，Mistral-7B 达 0.896，OLMo-2-7B 最高达 0.912。该研究表明，分离接触与承诺偏差能显著提升对潜在监控器安全行为的预测准确性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。