跳到正文
arXiv · ML· Gautam Goel, Mahdi Soltanolkotabi, Peter Bartlett·· 7 天前AI 评分28

软最大化自注意力训练动态:通过预条件实现快速全局收敛

Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning

AI 导读

研究人员Hera提出一种基于矩阵分解几何重新参数化的一阶优化算法,用于训练多层softmax自注意力网络。 在无限数据极限下,该算法使自注意力回归问题等价于矩阵分解,并证明Hera-PSD变体在小高斯初始化下具有指数级快速收敛的理论保证。 实验显示,Hera训练模型的测试均方误差比AdamW低98.1%,比Muon低97.7%。

来源:arXiv · ML · arxiv.org