跳到正文
arXiv · ML· Yining Hua·· 2 天前AI 评分58

编码基准分更高的模型未带来更多实际工作成果

Higher-Scoring Coding Models Did Not Get More Work Done

AI 导读

这项基于 GitHub 数据的研究发现,访问编码基准得分更高的模型(如 Claude Fable 5)并未显著增加开发者的实际合并成果。研究者利用 2026 年 6 月 Fable 5 模型受限 19 天的事件作为自然实验,对比了 297 名受影响用户与 8,908 名对照组开发者的拉取请求合并率,结果显示 7 天合并率仅提升 1.4 个百分点,且不具备统计显著性。

来源:arXiv · ML · arxiv.org