arXiv · ML· Seojin Kim, Yehjin Shin, Noseong Park·· 3 天前AI 评分21
Gated Attention 如何重塑 Attention Sinks:机制分析
Attention Sinks as Spectral Spikes: A Mechanism Analysis of Gated Attention
AI 导读
研究揭示了 post-SDPA gating 对 Transformer 中 attention sinks 的机制影响。 通过谱分析表明,该门控机制在推理时作为模态依赖收缩,衰减前向传播中的 sink 诱导谱能量;在反向传播中,局部降低通过 sink 列传递的值路径梯度。 随机矩阵诊断证实,该机制减少了异常值质量、弱化了 sink 子空间对齐,并显著增加了有效秩。
来源:arXiv · ML · arxiv.org