跳到正文
arXiv · ML· Tim Tsz-Kit Lau, Weijie Su·· 2026-10-15AI 评分27

提出对称性兼容优化器设计原则:适用于 Embeddings、LM Heads、SwiGLU 及 MoE 路由

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

AI 导读

论文提出对称性兼容优化器设计原则,使梯度更新规则在权重块对称群下保持等变,弥补 Adam 等优化器忽略对称结构的缺陷。 该原则推导出针对 embedding、LM head、SwiGLU MLP 及 MoE 路由矩阵的专用更新规则,涵盖谱、行范数及混合等变类型。 预实验显示,在 Qwen3-0.6B 等模型上,该优化器比 AdamW 更有效地降低验证损失、缓解专家负载不均衡并提升训练稳定性。

来源:arXiv · ML · arxiv.org