arXiv · AI· Zixuan Xie, Xinyu Liu, Shangtong Zhang·· 5 小时前AI 评分27
MathlibPR 提出形式化数学库 PR 合并结果基准
MathlibPR: Pull Request Merge-Outcome Benchmark for Formal Mathematical Libraries
AI 导读
summary_zh: 研究团队基于 Mathlib4 真实 PR 历史提出 MathlibPR 基准，用于评估 LLM 辅助形式化推理能力。 DeepSeek、Qwen 等模型与 Codex、Claude Code 等 Agent 在区分可合并与仅构建通过的 PR 时表现不佳，且阶段式评估协议显示 LLM 难以独立判断 PR 是否值得整合。
来源：arXiv · AI · arxiv.org