arXiv · AI· Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua Xiao, Sicheng Zhou·· 2 小时前AI 评分43
TraceTrial-Bench：AI Agent 框架可靠性与故障归因基准
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
AI 导读
TraceTrial-Bench 提出包含 95 个任务的新基准，用于评估 AI Agent 框架（harness）的可靠性与故障归因。 该基准涵盖上下文、执行、治理等七个组件，通过 3,420 次运行数据显示，框架得分在 59.8% 至 72.0% 之间，且 31.1% 的运行在框架失败情况下仍实现了任务成功。 其设计为对比框架、诊断故障及研究框架与模型交互提供了可审计且可复现的基础。
来源：arXiv · AI · arxiv.org