arXiv · NLP· Muyu He, Yuchen Liu, Ran Tao, Li Zhang·· 3 小时前AI 评分23
研究揭示大语言模型晚期注意力层在实体复制中的必要性
Late Attention Layers Alone Can Copy Entity Tokens, but Not Without Attending to Their Context
AI 导读
基于 Qwen3-8B 的实验表明，模型后半部分的特定晚期注意力层是执行实体复制任务所必需且充分的。 研究提出 genie-in-a-bottle 和 attention lobotomy 两种方法，发现上下文 token 对实体 token 的注意力对准确复制至关重要。 该发现确立了晚期层在实体复制中的关键作用，并指出未来需关注模型如何传播和消费实体信息。
来源：arXiv · NLP · arxiv.org