arXiv · ML· Yicheng Lang, Changsheng Wang, Yihua Zhang, Mingyi Hong, Zheng Zhang, Wotao Yin, Sijia Liu·· 5 小时前AI 评分26
ZO-Muon：通过子空间梯度正交化加速零阶优化
Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization
AI 导读
新优化方法 ZO-Muon 结合子空间投影与谱优化，显著提升零阶优化的收敛速度与效率。 该方法将模型更新视为低秩结构，利用梯度正交化提取谱信息。在 LLM 和 ViT 实验中，ZO-Muon 仅需 MeZO 24.7% 的查询次数即可达到相同 SST-2 性能，并在 CIFAR-100 上使 ViT-L 准确率提升 25.1%。
来源：arXiv · ML · arxiv.org