跳到正文
热点事件持续更新

SWE-Clar 基准发布及九模型评估结果

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

SWE-Clar 基准基于 Upwork 真实订单构建，包含 100 个总付款至少 4000 美元的任务及 512 个澄清问题。 该基准测试要求模型先进行需求澄清再实施代码，用于评估编码智能体交付新软件的能力。 对九款前沿模型的测试显示，GPT-6 Astra 的任务通过率仅为 67%，数据集和评估代码已开源。

AI 根据报道生成 · 3 小时前更新

最新进展10月26日 12:00
SWE-Clar 基准测试：评估编码智能体澄清不完整需求并交付新软件的能力

报道时间线

沿着报道，了解事件的不同侧面。

10月26日
  1. arXiv · AI
    SWE-Clar 基准测试：评估编码智能体澄清不完整需求并交付新软件的能力

    SWE-Clar 基于 Upwork 真实订单构建，包含 100 个总付款至少 $4,000 的任务及 512 个澄清问题。 该基准要求先进行需求澄清再进行代码实现，9 个前沿模型测试显示 GPT-6 Astra 任务通过率仅 67%。 数据集和评估代码已开源。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月26日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。