PACE基准测试发布
热点事件持续更新
PACE基准测试发布
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
论文作者团队发布PACE基准测试及750个专家审核代码点。 该基准包含43项企业级任务,旨在评估编码智能体执行产品需求文档(PRD)的能力。测试结果显示,模型在实现完整性和集成方面存在瓶颈,11种模型配置中GPT-5.6-Sol完全交付率最高,达14.0%。评估一致性方面,同一模型的多次运行准确率95.2%,优于专家共识。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
PACE基准测试:编码智能体在企业级成熟仓库中的表现评估报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv · AIPACE基准测试:编码智能体在企业级成熟仓库中的表现评估
研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。