跳到正文
热点事件持续更新

PACE基准测试发布

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

论文作者团队发布PACE基准测试及750个专家审核代码点。 该基准包含43项企业级任务,旨在评估编码智能体执行产品需求文档(PRD)的能力。测试结果显示,模型在实现完整性和集成方面存在瓶颈,11种模型配置中GPT-5.6-Sol完全交付率最高,达14.0%。评估一致性方面,同一模型的多次运行准确率95.2%,优于专家共识。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · AI
    PACE基准测试:编码智能体在企业级成熟仓库中的表现评估

    研究推出包含43项企业级任务的PACE基准测试,以评估编码智能体执行产品需求文档(PRD)的能力。11种模型配置中,GPT-5.6-Sol完全交付率最高,达14.0%。 测试结果显示模型在实现完整性和集成方面存在瓶颈。同一模型的多次运行在评估一致性上优于专家共识,准确率95.2%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。