arXiv · NLP· Radin Shayanfar, Keheliya Gallaba, Ahmed E. Hassan·· 5 小时前AI 评分21
如何选择编码智能体基准：来自任务需求与智能体行为的经验
Choosing Coding-Agent Benchmarks for Practice: Lessons from Task Demands and Agent Behaviour
AI 导读
通过分析 2,487 个任务和 14,922 次运行，研究者提出了 Spread-Novelty-Centrality (SNC) 画像以区分不同基准。在 Claude Opus 4.6 的实验中，其在 FeatBench 的补丁大于参考，而在 FeatureBench 小于参考。团队应基于变更特征选择任务，并综合考量补丁范围而非仅看测试结果。
来源：arXiv · NLP · arxiv.org