arXiv · AI· Marcus Armstrong·· 8 小时前AI 评分37
语言模型自我承诺机制研究:首次答案如何影响后续推理
Written Once, Read Differently How Language Models Own Answers Steer Their Next Ones
AI 导读
研究22个开源模型发现,首次回答会在残差流写入“承诺方向”,该方向相似度预测后续问题耦合度(ρ=0.43--0.85)。 消融共享方向后最多保留17%效应,且不同模型对同一方向的读取电路随规模和指令微调显著变化。 该机制揭示了模型内部状态如何在跨话题中持续影响推理稳定性。
来源:arXiv · AI · arxiv.org