ProLand提出无回缩优化器提升LoRA微调性能
热点事件持续更新
ProLand提出无回缩优化器提升LoRA微调性能
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
ProLand 针对 LoRA 微调中基向量冗余问题，提出一种无回缩优化器。该方法结合 Muon 风格谱方向与 Stiefel 流形上的 Landing 技术，旨在优化不可行流形上的参数更新路径。 在 DeBERTa-v3-base 及 Qwen2.5-3B 等模型构成的 11 项任务测试中，ProLand 在所有配置下均取得最高平均分，展示了其在提升模型微调效率方面的优越性。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
ProLand: 用于 LoRA 微调的不可行流形优化方法报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · MLProLand: 用于 LoRA 微调的不可行流形优化方法
ProLand 提出一种无回缩优化器，结合 Muon 风格谱方向与 Stiefel 流形上的 Landing 方法，解决 LoRA 微调中基向量冗余问题。 在 DeBERTa-v3-base 及 Qwen2.5-3B 等 11 项任务中，ProLand 在所有测试配置下取得最高平均分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。