跳到正文
arXiv · ML· Thibaut Boissin (IRIT), Thomas Massena (IRIT, DTIPG - SNCF, UT3), Mathieu Serrurier (IRIT), Franck Mamalet·· 2026-10-07AI 评分25

Muon 在卷积中的理论缺陷与实证有效性

Muon Is Theoretically Wrong For Convolutions, But Empirically Effective

AI 导读

研究发现 Muon 优化器在卷积核处理上存在理论偏差,但实证效果显著。 团队提出保留核支持的 Conv-NS 方法,在 CIFAR-10 和 ImageNet 上与reshape版 Muon 精度相当。 研究揭示了实践与理论间的错位,为 Muon 在卷积中的进一步发展指明方向。

来源:arXiv · ML · arxiv.org