跳到正文
arXiv · NLP· Mingzhong Sun, Teresa Yeo, Armando Solar-Lezama, Tan Zhi-Xuan·· 10 天前AI 评分47

大型推理模型“生产-评估”差距研究:揭示答案确认偏差

An Enigma of Artificial Reason: Investigating the Production-Evaluation Gap in Large Reasoning Models

AI 导读

大型推理模型(LRMs)在评估推理时表现远差于生成,前沿模型在VAIR数据集上得分低至52%,而生成解题接近满分。 链式推理分析显示模型存在答案确认偏差,倾向于验证答案而非逐步核查,即使发现异常也编造合理化理由。 线性探针与因果修补证实答案有效性是偏差因果因素,揭示了当前推理训练范式的显著局限。

来源:arXiv · NLP · arxiv.org