跳到正文
arXiv · AI· Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Jiayu Yao, Jiafeng Guo, Xueqi Cheng·· 2026-10-15AI 评分35

Doc2Harness:大语言模型在编码智能体长时程框架工程中的基准测试

Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents

AI 导读

研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。

来源:arXiv · AI · arxiv.org