跳到正文
arXiv · ML· Aythami Bethencourt de Le\'{o}n, Darryl D. Holm·· 10 天前AI 评分26

Transformer 非平衡动力学的几何理论

A Geometric Theory for Nonequilibrium Transformer Dynamics

AI 导读

论文构建了基于统计物理的变分几何理论,描述 Transformer 注意力机制与 token 表示在固定参数下的联合演化。 该理论引入了注意力的自由能,并将其演化建模为 Fisher-Rao 梯度流。证明了在固定 token 表示下,softmax 矩阵是唯一的自由能极小值点,且任何正向注意力轨迹均收敛于该点。 进一步证明了注意力流的适定性,并建立了三个耦合系统的能量耗散规律。

来源:arXiv · ML · arxiv.org