arXiv · NLP· Rishabh Sinha·· 5 小时前AI 评分32
双重分层评估揭示工具使用智能体中潜在监控器的“接触”与“承诺”偏差
Exposure Is Not Commitment: Double-Stratified Evaluation of Latent Monitors for Tool-Using Agents
AI 导读
针对工具使用智能体评估中的冲突结果，研究提出双重分层协议，将提示注入接触与行为承诺分离，指出以往混合对比学习多关注接触而非实际不安全行为。 在 Qwen AgentDojo 网格上，基于暴露案例重训练的监控器可提前两步预测不安全调用，Qwen 模型逻辑 AUROC 为 0.853，Mistral-7B 达 0.896，OLMo-2-7B 达 0.912。
来源：arXiv · NLP · arxiv.org