Muon 优化器如何预条件：结构化梯度噪声的作用

研究指出，在经典各向同性噪声假设下，Muon 优化器仅提供学习率缩放，无额外加速。针对关联记忆中异构任务频率产生的结构化噪声，该研究建立了精确平衡阈值，揭示 Muon 可将任务频率依赖性从线性降低至平方根，平衡高频与稀有任务的学习。