arXiv · ML· Yibang Li, Bihari Lal Pandey, Ravi Sah, Andi Han, Cyrus Mostajeran, Pratik Jawanpuria, Bamdev Mishra·· 2 天前AI 评分35
iMuon: Riemannian Matrix Manifolds Intrinsic Spectral Optimization
iMuon: Intrinsic Spectral Optimization on Riemannian Matrix Manifolds
AI 导读
iMuon 提出统一框架,在固定秩、SPD、Stiefel 和 Grassmann 流形上实现闭式更新。 该方法将欧几里得范数提升为内蕴范数,保留商对称性;收敛率仅依赖流形维数,固定秩情形下独立于因子条件数。 实验显示 iMuon 在 LoRA 微调 LLM、图像分类和子空间学习中有效。
来源:arXiv · ML · arxiv.org