arXiv · NLP· Ivo Petrov, Jasper Dekoninck, Dimitar I. Dimitrov, Martin Vechev·· 16 天前AI 评分32
超越正确性:基于 ProofRank 评测 LLM 证明质量
Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness
AI 导读
该研究提出 ProofRank 基准,从简洁性、计算难度、认知简洁度、多样性及适应性五个维度评测大语言模型生成数学证明的质量。 实验发现各模型在证明质量上的差异远超正确性指标,且可通过提示词调节代理指标,但通常会以适度的正确性损失为代价。
来源:arXiv · NLP · arxiv.org