研究指出Token置信度评分主要反映推理链长度而非正确性

2026年10月28日，arXiv发布了一项针对推理语言模型Token置信度评分方法的审计研究。该研究由Pragna Mallappa主导，旨在分析基于信号处理的Token置信度与推理链长之间的关系，特别是在窗口为2048个Token的条件下。研究发现，此时最低的平均Token置信度主要反映的是推理链的长度，而非答案的正确性。 在具体的测试验证中，研究团队使用了16条采样链和500道数学题进行实验。结果表明，单纯按推理链长度进行排序的效果优于使用置信度评分。进一步分析指出，在通过统计模型解释掉链长因素后，置信度评分中不再包含关于答案正确性的有效信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。