arXiv · AI· Junyu Guo, Yuchen Fang, Shangding Gu, Costas Spanos, James Demmel, Javad Lavaei·· 21 天前AI 评分33
大语言模型在上下文更新中的失效机制分析
When Context Changes: Understanding Update Failures in LLMs
AI 导读
研究发现大语言模型在上下文变化时会出现“陈旧绑定”失效,即错误地使用旧值而非当前状态。 研究引入基准 CICM,并在 Qwen 和 Pythia 模型中定位出由注意力偏移导致的机制,即模型倾向于关注旧值。 通过无需训练的注意力重定向干预,该方法在保留初始正确回答的同时,纠正了多种模型家族中大部分旧值错误。
来源:arXiv · AI · arxiv.org