arXiv · ML· Yequan Zhao, Ruijie Zhang, Liyan Tan, Niall Moran, Tong Qin, Zheng Zhang·· 11 小时前AI 评分21
FuRA：基于谱预条件的全秩参数高效微调
FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning
AI 导读
FuRA 通过全秩 SVD 谱预条件实现高效微调，在同等可训练参数下优于全量微调。 方法采用块张量训练分解，固定预训练 SVD 基以约束更新，在 LLaMA-3-8B 常识推理任务中提升 1.37 分，量化变体 QFuRA 也超越 QLoRA。 代码已开源，适用于大语言模型微调、数学推理强化学习及视觉指令微调。
来源：arXiv · ML · arxiv.org