arXiv · AI· Helen Jenne, Davis Brown, Jesse He, Henry Kvinge·· 21 天前AI 评分38
OpenConjecture 数据集:评估前沿 GPT 模型在随机数学猜想上的表现
Beyond Selected Breakthroughs: Evaluating Language Models on Randomly Sampled Mathematical Conjectures
AI 导读
研究人员提出 OpenConjecture 数据集,基于 2026 年 2 月以来的 arXiv 论文收集数学猜想,并使用前沿 GPT 模型对随机抽样的 200 条猜想进行三轮评估。模型为约 60% 的猜想生成了候选解,其中反例数量约为证明的 1.3 倍。研究分析显示部分解法依赖现有结果或存在意图偏差,凸显了评估忠实度与文献引用的必要性。
来源:arXiv · AI · arxiv.org