跳到正文
arXiv · AI· Yibing Liu, Yangze Liu, Xiaolong Yin, Bin Wang, Chong Zhang, Hao Yin, Zhongyi Han·· 10 天前AI 评分39

OpenClawBench 基准测试揭示真实 Agent 执行中的过程异常

OpenClawBench: Benchmarking Process-side Anomalies in Real-world Agent Execution Trajectories

AI 导读

OpenClawBench 包含 31,264 条标注轨迹,揭示 9.33% 任务成功执行仍存过程异常。 LoRA 微调 Gemma 3 12B 检测器在银色测试集达到 F1=0.729,优于 GPT-5.4 参考 0.302。 该基准将执行日志转化为可审计监督,支持实时 Agent 可靠性监测。

来源:arXiv · AI · arxiv.org