arXiv发布上下文学习电路研究论文
热点事件持续更新
arXiv发布上下文学习电路研究论文
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年11月4日，Andrew Gao和William Gao在arXiv发表研究论文《A Circuit for In-Context Learning》（arXiv:2611.05344）。该研究针对使用任意标签的少样本句子分类任务，揭示了3-4B参数Transformer模型中上下文学习的电路组成机制。 研究发现，模型通过标签token位置构建键值记忆：中间层注意力头负责写入类别键值，上层头部则进行匹配并读出标签。该机制受早期层重复标签信号门控，独立头会抑制最近标签。研究团队通过因果激活patching和消融实验验证了此电路，并在0.6B至8B模型家族中确认其保守性与可迁移性。代码和交互式演示已随论文发布。
AI 根据报道生成 · 3 小时前更新
最新进展11月4日 13:00
上下文学习电路解析：3-4B Transformer中的键值记忆机制报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · ML上下文学习电路解析：3-4B Transformer中的键值记忆机制
研究揭示了few-shot句子分类中上下文学习的电路组成。模型利用标签token位置构建键值记忆，中间层注意力头写入类别键值，上层头部匹配并读出标签。 该机制受早期层重复标签信号门控，独立头抑制最近标签。通过因果激活patching和消融实验验证，此电路在0.6B至8B模型家族中保守且可迁移。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 911月4日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。