arXiv · ML· Andrew Gao, William Gao·· 5 小时前AI 评分36
上下文学习电路解析：3-4B Transformer中的键值记忆机制
A Circuit for In-Context Learning
AI 导读
研究揭示了few-shot句子分类中上下文学习的电路组成。模型利用标签token位置构建键值记忆，中间层注意力头写入类别键值，上层头部匹配并读出标签。 该机制受早期层重复标签信号门控，独立头抑制最近标签。通过因果激活patching和消融实验验证，此电路在0.6B至8B模型家族中保守且可迁移。
来源：arXiv · ML · arxiv.org