arXiv · ML· Xinjue Wang, Xiuheng Wang, Yejun Zhang, Sergiy A. Vorobyov, Esa Ollila·· 10 天前AI 评分21
面向 LLM 微调的固定秩流形零阶黎曼优化
Zeroth-Order Riemannian Optimization on Fixed-Rank Manifolds for LLM Fine-Tuning
AI 导读
论文提出在固定秩矩阵流形上约束 LLM 微调的加法更新块,保持预训练权重冻结。 方法包含 Riemannian ZO 梯度估计器及 ZO-RGD 和 ZO-RGD-S 算法,在期望下恢复黎曼梯度并证明收敛性。 实验显示该算法在多个模型族和任务上性能优于强 forward-only 基线,部分设置中有增益。
来源:arXiv · ML · arxiv.org