arXiv · ML· Zhehang Du, Weijie Su·· 9 小时前AI 评分26
Polar Switch: 基于多项式电路的快速 Muon 正交化方法
Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits
AI 导读
研究提出 Polar Switch，通过多项式电路在相同近似精度下，以更低计算成本实现梯度正交化。 相比 Polar Express 和 Gram Newton-Schulz，Polar Switch 在方形矩阵运行时降低 15.5%–18.7%，在矩形矩阵降低 8.6%–16.2%。 在 Qwen3-0.6B 和 Gemma 3-1B 预训练中验证损失表现相当，数值稳定性良好。
来源：arXiv · ML · arxiv.org