arXiv · NLP· Omid Saghatchian, Ali Mahzoun, Khashayar Etemadi, Saeed Reza Kheradpisheh·· 2 小时前AI 评分25
SCRBench: 代码语义变更推理评测基准
SCRBench: Beyond Equivalence Checking for Semantic Change Reasoning in Code
AI 导读
研究团队推出包含 67,658 个 Python 程序对的 SCRBench 基准，用于评测语言模型的代码语义变更推理能力。 该基准在 4,500 个分层子集上测试了 5 个大模型，结果发现最高模型在语义等价检测准确率 94.71% 时，语义变更诊断准确率仅为 54.44%。 序列重建任务表现更差，最佳模型精确重建率仅 39.27%，当包含 5 处变更时模型准确率不超过 1.11%。
来源：arXiv · NLP · arxiv.org