arXiv · ML· Yining Hua·· 2 天前AI 评分58
编码基准分更高的模型未带来更多实际工作成果
Higher-Scoring Coding Models Did Not Get More Work Done
AI 导读
这项基于 GitHub 数据的研究发现,访问编码基准得分更高的模型(如 Claude Fable 5)并未显著增加开发者的实际合并成果。研究者利用 2026 年 6 月 Fable 5 模型受限 19 天的事件作为自然实验,对比了 297 名受影响用户与 8,908 名对照组开发者的拉取请求合并率,结果显示 7 天合并率仅提升 1.4 个百分点,且不具备统计显著性。
来源:arXiv · ML · arxiv.org