研究揭示Transformer自注意力矩阵在等向得分几何下的光谱退化机制

2026年11月3日，arXiv发布一项关于Transformer自注意力矩阵在等向得分几何下光谱退化的研究。该研究基于预训练视觉与语言Transformer的实证诊断，发现其token空间奇异矩阵具有近乎均匀的广义特征角分布，证实了主体光谱集中为零而主导模式保留的特性。 此研究结果解释了自注意力机制的工作原理：通过压缩剩余主体模式，模型得以保留少数主导方向，从而在数学几何层面揭示了注意力机制信息压缩的本质。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。