跳到正文
arXiv · AI· Yueer Pan, Yuexi Pan·· 5 小时前AI 评分25

因果建模分析思维链忠实度评估中的正确性条件选择偏差

Correctness Conditioning as Selection in Chain-of-Thought Faithfulness Evaluation

AI 导读

研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。

来源:arXiv · AI · arxiv.org