跳到正文
OpenAI·· 2026-02-23AI 评分23

OpenAI 为何不再评估 SWE-bench Verified

Why we no longer evaluate SWE-bench Verified

AI 导读

OpenAI 停止使用 SWE-bench Verified 评估前沿编码能力,因其存在污染和测试缺陷。分析显示该基准存在训练数据泄漏问题,导致无法准确衡量模型进展。OpenAI 推荐改用 SWE-bench Pro。

来源:OpenAI · openai.com