跳到正文
arXiv · AI· Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong·· 17 小时前AI 评分20

NL2AGBench:AlphaGeometry 自动形式化大模型基准测试

NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

AI 导读

研究人员提出 NL2AGBench 基准,用于评估大语言模型将自然语言几何问题转化为 AlphaGeometry 形式表示的能力。 该基准通过执行验证而非文本相似度来评估翻译质量。实验发现闭源模型可执行翻译率超 80%,而开源模型难以维持几何约束的有效性。

来源:arXiv · AI · arxiv.org