arXiv · AI· Hasan Najib Mahmud, Shreya Gupta, Isha Chaudhary, Nathaniel Enis, Ravi Mangal, Gagandeep Singh, Corina Pasareanu·· 4 天前AI 评分27
编程代理在语义等价代码变体下的可靠性评估
Programmable Distributions of Semantics-Preserving Variants for Evaluating Code Agents
AI 导读
研究使用 VDL 语言在 SWE-bench Verified 和 Pro 上评估编程代理,发现代码重写导致修复率最高下降 6.7 个百分点。 测试基于 mini-SWE agent 和 OpenCode 框架,结合 Claude Opus 4.5、Kimi K2.5 等四个模型。模型鲁棒性排名在不同框架间不一致,揭示了不稳定的鲁棒性边界。
来源:arXiv · AI · arxiv.org