Transformer 自注意力矩阵在等向得分几何下的光谱退化

研究表明 Transformer 自注意力矩阵在等向得分几何下呈现光谱退化，主导模式保留而主体光谱集中为零。 该结论基于预训练视觉与语言 Transformer 的实证诊断，其 token 空间奇异矩阵具有近乎均匀的广义特征角分布。 此结果解释了自注意力机制如何通过压缩剩余主体模式来保留少数主导方向。