arXiv · NLP· Jiarui Yao, Ruida Wang, Tong Zhang·· 21 天前AI 评分29
OpenFrontiers:开放研究问题集合与科学重发现基准
OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery
AI 导读
OpenFrontiers 发布了一个包含 12,151 个问题的跨学科语料库和一个由 200 个问题组成的基准。 该基准包含 110 个已解决和 90 个未解决数学问题,每个问题都配有 Lean 4 形式化陈述。在 HQ-50 子集上,7 个 LLM 智能体在封闭书本条件下极少能重发现问题。 该资源为衡量研究级重发现能力提供了基础。
来源:arXiv · NLP · arxiv.org