跳到正文
arXiv · ML· Akiyoshi Tomihari, Ryo Karakida·· 9 小时前AI 评分33

自注意力动态的循环视角:基于 Jacobian 矩阵的无能量假设分析

Recurrent Self-Attention Dynamics: An Energy-Agnostic Perspective from Jacobians

AI 导读

研究通过 Jacobian 矩阵在无能量假设下分析自注意力推理动态,放宽了对称性和单头限制。 分析发现归一化层抑制了 Lipschitz 性质及复特征值带来的振荡分量。 Lyapunov 指数表明归一化动态接近临界状态,该临界性是高性能的强指标,并衍生出正则化方法及伪能量监测手段。

来源:arXiv · ML · arxiv.org