arXiv新论文揭示LLM自我承诺机制

Marcus Armstrong团队在arXiv发布论文，研究语言模型回答不同问题时受首次回答影响的“自我承诺”现象。该研究选取0.5B至72B参数的四组共22个开源权重模型，通过固定首次回答，在120个实体上的3600对问题中测量第二次回答的变化。研究发现，首次回答会在模型残差流中写入“承诺方向”，该方向的相似度能预测后续问题的耦合度，相关系数（ρ）在0.43至0.85之间。消融共享方向后，该效应最多保留17%，且不同模型对同一方向的读取电路随模型规模和指令微调显著变化，揭示了内部状态对推理稳定性的持续影响。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。