跳到正文
arXiv · ML· Yaomengxi Han, Debarghya Ghoshdastidar·· 2026-10-15AI 评分25

Transformer 在无限输入下的训练动力学:注意力学习滞后于输出层学习

Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning

AI 导读

研究表明,浅层 Transformer 在识别无界长度星无关语言时,简单的两步梯度特征学习理论失效。 Transformer 需经历三阶段梯度下降:先更新输出层,再更新注意力层,最后微调输出层;单独训练某一层或单步注意力更新均无法完成语言识别。 该“注意力学习滞后”机制在语言识别、回归及上下文学习等其他任务中同样有益。

来源:arXiv · ML · arxiv.org