arXiv · AI· Qiyao Liang, Risto Miikkulainen, Ila Fiete·· 8 小时前AI 评分35
语言模型元认知失效的电路基础：干扰与幻觉
The Circuit Basis of Metacognitive Failure in Language Models: Interference and Hallucination
AI 导读
研究揭示语言模型在知识冲突和缺失知识下产生错误的高置信度输出，源于 MLP、QK 和 VO 组件的不同电路角色。 MLP 主要存储事实，QK 引导生成方向，VO 将内容写入残差流；单短语学习的事实易受上下文干扰，多短语学习则覆盖上下文。 在 12 个预训练模型中，幻觉率随规模下降，但剩余幻觉的高置信度比例上升，置信度与正确性之间的差距未因规模缩小。
来源：arXiv · AI · arxiv.org