arXiv · AI· Tianqi Liu, Yandong Guan, Songze Li, Wenkai Wang, Gang Yu, Chengfei Lv·· 12 小时前AI 评分42
PACE基准测试：编码智能体在企业级成熟仓库中的表现评估
When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories
AI 导读
研究推出包含43项企业级任务的PACE基准测试，以评估编码智能体执行产品需求文档（PRD）的能力。11种模型配置中，GPT-5.6-Sol完全交付率最高，达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识，准确率95.2%。
来源：arXiv · AI · arxiv.org