arXiv · ML· Munachiso Samuel Nwadike, Zayd M. K. Zuhri, Rifo Genadi, Abzal Nurgazy, Ali Mekky, Alham Fikri Aji, Zangir Iklassov, Kentaro Inui·· 9 小时前AI 评分30
研究表明模型推理正确性方向具备线性可解码性,但缺乏因果效用
On Reasoning Correctness Directions
AI 导读
实验发现模型推理正确性信息可线性解码,但特定方向无法通过因果干预提升推理表现。 研究引入 ChainSearch 任务训练 300 万参数模型,利用线性探针等手段寻找内部推理正确性方向。 结果质疑线性表示假设在识别因果有用方向上的充分性。
来源:arXiv · ML · arxiv.org