基于Jacobian矩阵的自注意力动态分析

2026年10月20日，arXiv发布一项关于自注意力机制的研究。该研究采用循环视角，利用Jacobian矩阵在无能量假设下分析自注意力的推理动态，成功放宽了传统分析中对对称性和单头模型的严格限制。 研究发现，归一化层显著抑制了Lipschitz性质以及复特征值带来的振荡分量。通过计算Lyapunov指数，研究揭示归一化动态接近临界状态，该临界性被证实为高性能的强指标。 基于上述发现，研究者衍生出新的正则化方法及伪能量监测手段，为评估和优化自注意力模型的稳定性与性能提供了新工具。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。