跳到正文
arXiv · AI· Hasan Najib Mahmud, Shreya Gupta, Isha Chaudhary, Nathaniel Enis, Ravi Mangal, Gagandeep Singh, Corina Pasareanu·· 4 天前AI 评分27

编程代理在语义等价代码变体下的可靠性评估

Programmable Distributions of Semantics-Preserving Variants for Evaluating Code Agents

AI 导读

研究使用 VDL 语言在 SWE-bench Verified 和 Pro 上评估编程代理,发现代码重写导致修复率最高下降 6.7 个百分点。 测试基于 mini-SWE agent 和 OpenCode 框架,结合 Claude Opus 4.5、Kimi K2.5 等四个模型。模型鲁棒性排名在不同框架间不一致,揭示了不稳定的鲁棒性边界。

来源:arXiv · AI · arxiv.org