研究揭示LLM高置信度幻觉的电路基础
热点事件持续更新
研究揭示LLM高置信度幻觉的电路基础
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年11月3日，Qiyao Liang等学者在arXiv发布论文《The Circuit Basis of Metacognitive Failure in Language Models: Interference and Hallucination》，深入剖析大语言模型元认知失效的机制。 研究指出，MLP、QK和VO组件在生成错误高置信度输出时扮演不同角色：MLP主要存储事实，QK引导生成方向，VO将内容写入残差流。单短语学习的事实易受上下文干扰，而多短语学习则能覆盖上下文。 实验数据显示，在12个预训练模型中，虽然幻觉率随模型规模下降，但剩余幻觉的高置信度比例反而上升。这意味着随着模型变大，置信度与正确性之间的差距并未缩小，揭示了单纯扩大规模无法根本解决“自信幻觉”问题。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:00
语言模型元认知失效的电路基础：干扰与幻觉报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · AI语言模型元认知失效的电路基础：干扰与幻觉
研究揭示语言模型在知识冲突和缺失知识下产生错误的高置信度输出，源于 MLP、QK 和 VO 组件的不同电路角色。 MLP 主要存储事实，QK 引导生成方向，VO 将内容写入残差流；单短语学习的事实易受上下文干扰，多短语学习则覆盖上下文。 在 12 个预训练模型中，幻觉率随规模下降，但剩余幻觉的高置信度比例上升，置信度与正确性之间的差距未因规模缩小。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。