Agentic审计揭示CLEVER基准80%条目存在参考规格错误

2026年11月，研究团队Alessandro Sosso等人发表审计结果，针对Lean 4代码生成基准CLEVER的161个条目进行了评估。审计发现其中80个条目存在参考规格错误。该研究使用了基于Claude Opus 4.6、GPT-5.4和Kimi K2.5的三个独立智能体系统。这些系统在纠正规格后生成了高达98.8%的有效规格，并在无错误前提下实现了96.2%的端到端成功率，证明原有的同构评分标准不足以准确评估基准质量。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。