arXiv · NLP· Yuren Hao, Xiang Wan, ChengXiang Zhai·· 2026-10-09AI 评分40
GAP 方法论评估 LLM 数学推理鲁棒性:基于数学等价变换的基准测试
An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems
AI 导读
研究团队提出 GAP 方法论,通过表面重命名和内核重写生成数学等价变体,以诊断 LLM 推理失败原因。 在 PutnamGAP 数据集上评估 18 款模型,发现准确率随变换类型下降,内核重写导致最大性能缺口,且强模型未能弥合该差距。 这表明最强 LLM 的核心弱点在于将证明计划迁移至新的数学背景,而非处理表面符号变化。
来源:arXiv · NLP · arxiv.org