arXiv · ML· Neeva Oza, Ishaan Govil, Parul Gupta, Dinesh Khandelwal, Dinesh Garg, Parag Singla·· 2026-10-21AI 评分28
LLM 对代码转换的脆弱性:CETBench 代码等价性基准测试
LLMs are Brittle to Simple Code Transformations: Introducing CETBench - A Benchmark for Code-Equivalence Checking
AI 导读
研究指出 LLM 在判断代码功能等价性上表现脆弱,CETBench 基准测试证实即使是简单的代码转换也会导致 SOTA 模型性能显著下降。 该基准通过随机应用预定义转换生成等价或非等价代码对,跨语言场景下性能降幅更为明显,微调可改善表现。 实验分析揭示 LLM 可能仍缺乏对代码深层语义的理解,结果发表于 ACL 2026 Findings。
来源:arXiv · ML · arxiv.org