arXiv · AI· Azim Ospanov, Zijin Feng, Ding Ding, Chengwu Liu, Haoli Bai, Jiacheng Sun, Lifeng Shang, Farzan Farnia·· 5 小时前AI 评分35
研究揭示 LLM 可靠批改奥林匹克数学证明的能力局限，提出 MABGrader 框架
Can LLMs Reliably Grade Olympiad Proofs? A Study of Mathematical Verification with LLMs
AI 导读
研究提出用于大规模生成高保真对抗性证明的 TROJAN 流水线，并构建了包含专家评分的 USAMO 2025 候选答案数据集。 评测覆盖 20 个模型、7 项指标及 3 种推理方法，显示前沿模型在验证数学证明方面仍有较大提升空间。 提出的 MABGrader 多臂老虎机框架在二次加权 Kappa 指标上比 SOTA ProofGrader 高 26.4%，并将评分误差降低 14%。
来源：arXiv · AI · arxiv.org