arXiv · AI· Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong·· 17 小时前AI 评分20
NL2AGBench:AlphaGeometry 自动形式化大模型基准测试
NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry
AI 导读
研究人员提出 NL2AGBench 基准,用于评估大语言模型将自然语言几何问题转化为 AlphaGeometry 形式表示的能力。 该基准通过执行验证而非文本相似度来评估翻译质量。实验发现闭源模型可执行翻译率超 80%,而开源模型难以维持几何约束的有效性。
来源:arXiv · AI · arxiv.org