跳到正文
arXiv · AI· Yumou Liu, Mingju Chen, Zhoufutu Wen, Qianyu Yang, Zijie Wang, Sihan Chen, Yeqian Liu, Chenghao Yang, Tiliang Duan, Qiyu Cai, Yanglihong Xiao, Jiayun Dong, Jianlan Ma, Shenhao Miao, Yuhan Cao, Lu Xu, Que Shen, Tian Gao, Ziyu Liang, Eric Yang, Ge Zhang, Jianpeng Jiao, Xuanhe Zhou, Fan Wu·· 17 天前AI 评分43

DeliverBench:多阶段专业项目交付能力基准测试

DeliverBench: Benchmarking AI Agents on Delivering Realistic Multi-Stage Professional Projects

AI 导读

DeliverBench 通过 11 个项目、150 个子任务评估 AI Agent 的多阶段专业交付能力。 最佳系统在最终交付环节仅得 65.0 分,且只有 50.0% 的子任务达到 90 分阈值。 结果显示单任务能力无法直接转化为连贯的项目交付表现。

来源:arXiv · AI · arxiv.org