SCRBench基准发布揭示代码变更推理难题
热点事件持续更新
SCRBench基准发布揭示代码变更推理难题
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究团队Omid Saghatchian等人发布SCRBench基准，包含67,658个通过施加保持或改变语义的代码变更序列生成的Python程序对，旨在评测语言模型的代码语义变更推理能力。该基准在4,500个分层子集上测试了5个大模型，结果显示最高模型在语义等价检测准确率达94.71%时，语义变更诊断准确率仅为54.44%。此外，序列重建任务表现更差，最佳模型精确重建率仅39.27%，当包含5处变更时模型准确率不超过1.11%。
AI 根据报道生成 · 52 分钟前更新
最新进展11月2日 13:00
SCRBench: 代码语义变更推理评测基准报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · NLPSCRBench: 代码语义变更推理评测基准
研究团队推出包含 67,658 个 Python 程序对的 SCRBench 基准，用于评测语言模型的代码语义变更推理能力。 该基准在 4,500 个分层子集上测试了 5 个大模型，结果发现最高模型在语义等价检测准确率 94.71% 时，语义变更诊断准确率仅为 54.44%。 序列重建任务表现更差，最佳模型精确重建率仅 39.27%，当包含 5 处变更时模型准确率不超过 1.11%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。