arXiv · ML· Rida Assalouh, Tom Jacobs, Rebekka Burkholz, Yani Ioannou, Umut \c{S}im\c{s}ekli·· 8 小时前AI 评分20
BMuon：为结构化可压缩性调整 Muon 的光谱几何
BMuon: Budgeting Muon's Spectral Geometry for Structured Compressibility
AI 导读
研究提出 Budget Muon (BMuon)，通过让隐藏通道竞争共享分配预算，解决 Muon 训练后剪枝性能骤降问题。 BMuon 在 ImageNet-1K ViT-S/16 及 1B 参数 LLaMA 模型上，结构化剪枝表现优于 Muon，且分配比权重大小更有效。 该优化器实现了 Muon 几何与稀疏几何的插值，提升模型结构化可压缩性。
来源：arXiv · ML · arxiv.org