跳到正文
arXiv · ML· Yuanshi Liu, Boyuan Jiang, Liang Hou, Xin Tao, Pengfei Wan, Zhouchen Lin, Cong Fang·· 2026-10-06AI 评分40

ORCA 优化器通过退火谱条件化加速 LLM 训练

ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training

AI 导读

ORCA(Orthogonal Regularization, Cooled After)在 LLaMA、Qwen3 及 MoE 模型(130M-8B 参数)上实现了低于 Muon 的最终验证损失。 其损失相对 Muon 的缩减幅度匹配或超过了 Muon 相对 Adam 的优势,且无需架构修改、开销极小。

来源:arXiv · ML · arxiv.org