First-Token Cueing 揭示 LLM 首个 token 记忆失效的探测方法

2026年10月19日，arXiv平台发布了一项关于大语言模型（LLM）错误机制的新研究，题为《First-Token Cueing 揭示 LLM 首个 token 记忆失效的探测方法》。该研究由自然语言处理（cs.CL）领域学者完成，旨在探索LLM产生事实性错误的原因。核心发现指出，LLM在“闭卷”模式下的事实性错误主要并非源于模型知识库中缺失相关事实，而是源于模型在生成第一个答案token时出现的记忆回忆失效。这意味着模型可能已经“知道”答案，但在生成之初未能正确检索并输出该信息。 研究团队开发了一种名为“First-Token Cueing”的探测方法。该方法通过预填正确答案的首个token作为行为探针，来测试模型的反应。实验结果显示，模型在首个答案token处的不确定性达到峰值，验证了记忆失效主要发生在生成阶段的初期。当提供首个正确token作为提示后，模型能够显著降低不确定性并修正后续生成路径，从而更准确地完成任务。这一发现为理解LLM的生成机制提供了新的视角。 该研究在16个开源模型上进行了验证，测试涵盖了多语言英语问答以及7种不同语言的基准测试任务。数据表明，单个token的提示（cues）能够有效修正1/5至1/2的初始错误，并在所有受测语言中提升了准确率。这一结果证明了First-Token Cueing方法的普适性，同时也为后续优化LLM的输出稳定性、减少幻觉提供了具体的技术手段，即通过外部或内部提示干预首个token的生成过程。

AI 根据报道生成 · 6 小时前更新