arXiv · NLP· Zhengtao Gui, Sheng Yang, Zhouxing Shi·· 6 小时前AI 评分29
Lean 4 证明自动形式化模型的鲁棒性评估
Evaluating the Robustness of Proof Autoformalization in Lean 4
AI 导读
该研究提出首个针对 Lean 4 证明自动形式化模型鲁棒性的基准测试，涵盖全局改写与局部扰动两类场景。基于 miniF2F 和 MATH-500 数据集，评估了七个最新大语言模型，发现模型在全局扰动下正确率不稳定，且在局部扰动下大多无法忠实反映修改。
来源：arXiv · NLP · arxiv.org