SOMA：结合Muon与锐度感知正交化动量的LLM优化算法
热点事件持续更新
SOMA：结合Muon与锐度感知正交化动量的LLM优化算法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv平台发布一篇机器学习论文，提出名为SOMA（Sharpness-aware Orthogonalized Momentum Algorithm，锐度感知正交化动量算法）的新优化方法。该算法旨在将一种计算高效且具备理论基础的扰动方案与Muon优化器相结合。 论文指出，SOMA利用陈旧随机梯度噪声来实现扰动，并理论上证明了样本复杂度对扰动方向保持不变。研究团队通过实验验证了该算法在缓解大语言模型量化过程中的质量下降以及微调过程中的灾难性遗忘现象中的有效性。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
SOMA：结合 Muon 与锐度感知正交化动量的 LLM 优化算法报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · MLSOMA：结合 Muon 与锐度感知正交化动量的 LLM 优化算法
论文提出 Sharpness-aware Orthogonalized Momentum Algorithm (SOMA)，将高效锐度感知惩罚与 Muon 优化器结合。 SOMA 利用陈旧随机梯度噪声实现扰动，理论上证明样本复杂度对扰动方向不变，并验证其在缓解 LLM 量化质量下降及微调灾难性遗忘中的有效性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。