arXiv · AI· Prabhpreet Singh Setia, Bhavesh Neekhra, Debayan Gupta·· 8 小时前AI 评分33
结合轨迹与环境状态的 LLM 裁判提升智能体危害评估覆盖率
Widening Harm Evaluation Coverage with a Judge that Reads the World
AI 导读
该研究通过为 LLM 裁判赋予环境只读访问权限并结合行为轨迹，显著提升了智能体安全评估中的危害检测召回率。 在 DecodingTrust-Arena 测试中，结合轨迹与状态观察的召回率达 94%，而仅依赖轨迹仅为 53%；OSWorld 环境下联合策略召回率为 77%，优于单通道结果。 双通道裁判机制能有效互补不同监测盲点，为检测并验证智能体环境中的潜在危害提供了稳健且灵活的方法。
来源：arXiv · AI · arxiv.org