跳到正文
arXiv · ML· Munachiso Samuel Nwadike, Zayd M. K. Zuhri, Rifo Genadi, Abzal Nurgazy, Ali Mekky, Alham Fikri Aji, Zangir Iklassov, Kentaro Inui·· 9 小时前AI 评分30

研究表明模型推理正确性方向具备线性可解码性,但缺乏因果效用

On Reasoning Correctness Directions

AI 导读

实验发现模型推理正确性信息可线性解码,但特定方向无法通过因果干预提升推理表现。 研究引入 ChainSearch 任务训练 300 万参数模型,利用线性探针等手段寻找内部推理正确性方向。 结果质疑线性表示假设在识别因果有用方向上的充分性。

来源:arXiv · ML · arxiv.org