跳到正文
arXiv · ML· O\u{g}uz Kaan Y\"uksel, Rodrigo Alvarez Lucendo, Nicolas Flammarion·· 7 天前AI 评分21

**title_zh:** ICML 2026:Transformer 稀疏注意力模式与头部专业化的增量学习动力学研究

Incremental Learning of Sparse Attention Patterns in Transformers

AI 导读

**summary_zh:** 该研究在 Markov 链设定下揭示了 Transformer 稀疏注意力模式形成的增量学习动力学。 训练初期注意力头竞争主导模式,后期合作并专业化分工,且完成阶段数随数据集大小变化,体现隐式复杂度控制。 该理论账户解释了结构化注意力与头部专业化的涌现机制,无需显式课程学习。

来源:arXiv · ML · arxiv.org