MIT Technology Review · AI· Grace Huckins·· 3 小时前精选AI 评分81
METR 更新 AI 时间范围图:开放任务能力仍落后于编码
The most misunderstood graph in AI just got a major update
AI 导读
AI 评估非营利组织 METR 发布了最新报告,更新了其广为人知的“时间范围图”(time horizon plot)。新报告指出,虽然 AI 在处理可验证任务(如编程和数学)上仍保持指数级进步,但在需要判断的开放任务上表现不佳。METR 新增了部分需要人类更长时间完成的评估任务,例如设计 AI 评估工具和评判哲学论点,发现最先进模型在这些任务上未能达到人类水准。
推荐理由
报告更新了 METR 的时间范围图,指出 AI 在需要判断的开放任务上仍落后,为评估自动化 AI 研发提供了新基准。
来源:MIT Technology Review · AI · technologyreview.com