因果模型揭示思维链忠实度评估中的选择偏差

2026年10月，一项发表于arXiv（cs.AI）的研究指出，当前思维链（CoT）忠实度评估因仅限制于“正确回答”实例，会产生系统性选择偏差。该研究构建了七变量结构因果模型，推导了观测差距公式，以量化这一偏差的影响。 研究团队对18篇既有论文进行了协议审查，并在四个算术任务部署中验证了该偏差的真实性。其中，GLM-5.3模型在1000个样本下表现出+7.4个百分点的正向选择差距，证实了仅用正确样本评估会高估忠实度。 基于因果分析，研究提出当反事实依从性可观察时，无需进行正确性过滤，直接评估所有推理轨迹即可估算总体忠实度，为改进评估方法提供了理论依据。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。