arXiv · AI· Zeyu Zheng, Yiyang Liu, Yuyang Zhao, Congmin Zheng, Jiachen Zhu, Jianian Chen, Kangning Zhang, Kayue Daniel Wong, Lingyu Yang, Rong Shan, Shihao Chen, Thomas Zhu, Wentao Zhang, Xiaopeng Li, Yan Hu, Yongxi Lin, Yuxiang Chen, Zhuoying Ou, Jianghao Lin, Jeremy Avigad, Prasad Tetali, Jingbang Chen, Sean Welleck·· 4 小时前AI 评分21
ReuF2F：基于形式化本科研究问题的编码智能体基准测试
ReuF2F: Benchmarking Coding Agents on Formalized Undergraduate Research Problems
AI 导读
研究者推出 ReuF2F，这是一个包含 244 个来自 REU 项目的形式化开放数学问题的 Lean 4 基准。 该基准采用 Docker 容器放置题目及逻辑否定项，并构建了基于 mini-SWE-agent 的 Leanimum-agent 评估框架。 评测显示最佳模型解决率仅约 40%，表明形式化开放研究问题仍存在显著改进空间。
来源：arXiv · AI · arxiv.org