跳到正文
热点事件持续更新

ReuF2F发布:Lean4形式化数学基准测试

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月21日,研究者发布ReuF2F基准,该基准是一个包含244个形式化开放数学问题的Lean 4测试集。这些问题源自本科生研究体验(REU)项目,涵盖了入门级开放研究问题及广泛的数学子领域。 该基准采用Docker容器来放置题目及其逻辑否定项。研究团队基于mini-SWE-agent构建了Leanimum-agent评估框架,用于对该基准上的表现进行自动化评测。 最新评测结果显示,当前最佳模型在ReuF2F上的解决率仅为40%左右。这一数据表明,AI在解决形式化开放研究问题方面仍存在显著的改进空间,目前尚未达到成熟度。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv · AI
    ReuF2F:基于形式化本科研究问题的编码智能体基准测试

    研究者推出 ReuF2F,这是一个包含 244 个来自 REU 项目的形式化开放数学问题的 Lean 4 基准。 该基准采用 Docker 容器放置题目及逻辑否定项,并构建了基于 mini-SWE-agent 的 Leanimum-agent 评估框架。 评测显示最佳模型解决率仅约 40%,表明形式化开放研究问题仍存在显著改进空间。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月21日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。