arXiv · AI· Pengyu Xue, He Yang Yuan, Xin Wang, Junkai Chen, Haonan Zhang, Boyuan Chen, Zishuo Ding, Zhenhao Li, Weiyi Shang·· 2026-10-08AI 评分45
SWE-NFI:用于评估非功能性改进编码智能体的基准
SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements
AI 导读
SWE-NFI 包含 188 个基于真实开源 Python 项目 Pull Request 的任务,用于评估编码智能体在非功能性改进(NFI)上的表现。 该基准将 5 类 NFI 维度转化为 92 条可执行规则,并采用功能保持检查与规则评分结合的方法。
来源:arXiv · AI · arxiv.org