arXiv · NLP· Lan Zhang, Marco Valentino, Jordan Meadows, Andr\'e Freitas·· 4 天前AI 评分20
基于LLM评判员认知集成框架的数学自动形式化评估方法
Beyond Gold Standards: Epistemic Ensemble of LLM Judges for Formal Mathematical Reasoning
AI 导读
研究提出基于认知与形式化基础的LLM评判员集成(EFG)方法,用于自动评估数学陈述的自动形式化任务。 该框架基于逻辑保持(LP)、数学一致性(MC)、形式质量(FQ)和形式有效性(FV)标准,实验证明其比粗粒度模型更具优势。 LLM评判员在明确原子属性引导下,可为形式化数学推理提供可扩展、可解释且可靠的评估支持。
来源:arXiv · NLP · arxiv.org