语言模型如何收敛答案：四项开源模型答案质心研究

研究发现，Llama-3.1-8B 等四个开源模型在事实问答中，答案在特定层收敛至共享的“答案质心”区域，该状态在 47%-71% 的网络深度处跳变。 将错误答案状态移至正确质心可让模型在 83%-97% 的案例中输出正确答案，且该信号比模型自信度更具信息量，揭示了答案生成的内部机制。