热点事件持续更新

新论文揭示Transformer注意力汇聚诱导梯度汇聚机制

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

2026年10月20日，arXiv 机器学习（cs.lg）领域发布一篇新论文，题为《Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers》。该研究由 Yihong Chen、Zhouchen Lin 和 Quanming Yao 共同完成，旨在从反向传播的视角探究注意力汇聚与大规模激活之间的关系。论文指出，在 pre-norm 结构的 Transformer 模型中，注意力汇聚现象会诱导梯度集中，即产生梯度汇聚机制。研究发现，RMSNorm 的雅可比特性使得梯度衰减与输入范数成反比，从而使大规模激活充当了一种自适应的梯度调节器。此外，研究还表明，尽管 V-scale 模型保留了注意力汇聚特征，但其抑制了大规模激活现象。

AI 根据报道生成 · 1 小时前更新

最新进展10月20日 12:00

Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

12:00
arXiv · ML
Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
在 pre-norm Transformers 中，attention sinks 诱导梯度集中，即 gradient sinks。 RMSNorm 雅可比将梯度衰减与输入范数成反比，使 massive activations 成为自适应调节器。 V-scale 模型保留了 attention sinks，但抑制了 massive activations。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。