SNC模型分析编程智能体基准任务特征

Rad in Shayanfar 等研究人员发布论文，引入 Spread-Novelty-Centrality (SNC) 分析框架，用于描述参考解决方案在文件目录间的分布、新增代码与删除代码的比例，以及所触及代码的依赖、历史与复杂度。研究团队基于五个公开编程基准测试及其智能体运行数据开展分析。 通过分析 2487 个任务和 14922 次运行，研究者利用 SNC 画像区分不同基准特征。在 Claude Opus 4.6 的实验中，其在 FeatBench 生成的补丁大于参考标准，而在 FeatureBench 中则小于参考标准。研究建议团队应基于变更特征选择任务，并综合考量补丁范围而非仅看测试结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。