arXiv · ML· Geetika, Shivani Singh Chauhan, Gauranshi Gupta, Anant Jain, Kaushik Kalyanaraman, Bapi Chatterjee·· 5 小时前AI 评分30
SOMA：结合 Muon 与锐度感知正交化动量的 LLM 优化算法
Sharpness-aware Orthogonalized Momentum Algorithms
AI 导读
论文提出 Sharpness-aware Orthogonalized Momentum Algorithm (SOMA)，将高效锐度感知惩罚与 Muon 优化器结合。 SOMA 利用陈旧随机梯度噪声实现扰动，理论上证明样本复杂度对扰动方向不变，并验证其在缓解 LLM 量化质量下降及微调灾难性遗忘中的有效性。
来源：arXiv · ML · arxiv.org