跳到正文
arXiv · ML· Md. Rejaul Korim Sadi, Toufiqur Rahman Tasin, Golam Mostofa Naeem·· 9 天前AI 评分29

测试幻觉的结构起源:注意力机制与状态空间混合器的对比

From Architecture to Output: Testing the Structural Origins of Hallucination and the Amplifying Role of Data

AI 导读

研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。

来源:arXiv · ML · arxiv.org