大模型晚期注意力层在实体复制中的关键作用

基于 Qwen3-8B 的实验表明，模型后半部分的特定晚期注意力层是执行实体复制任务所必需且充分的。 研究提出 genie-in-a-bottle 和 attention lobotomy 两种方法，发现上下文 token 对实体 token 的注意力对准确复制至关重要。 该发现确立了晚期层在实体复制中的关键作用，并指出未来需关注模型如何传播和消费实体信息。