arXiv · ML· Chenyu Zhou, Yuxuan Zeng, Qi Deng, Dongdong Ge, Yinyu Ye·· 8 小时前AI 评分30
ProLand: 用于 LoRA 微调的不可行流形优化方法
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
AI 导读
ProLand 提出一种无回缩优化器，结合 Muon 风格谱方向与 Stiefel 流形上的 Landing 方法，解决 LoRA 微调中基向量冗余问题。 在 DeBERTa-v3-base 及 Qwen2.5-3B 等 11 项任务中，ProLand 在所有测试配置下取得最高平均分。
来源：arXiv · ML · arxiv.org