arXiv · ML· Yihong Chen, Zhouchen Lin, Quanming Yao·· 9 小时前AI 评分37
Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
AI 导读
在 pre-norm Transformers 中，attention sinks 诱导梯度集中，即 gradient sinks。 RMSNorm 雅可比将梯度衰减与输入范数成反比，使 massive activations 成为自适应调节器。 V-scale 模型保留了 attention sinks，但抑制了 massive activations。
来源：arXiv · ML · arxiv.org