跳到正文
arXiv · ML· Raviteja Anantha, Nick Levato, Layne C. Price·· 4 天前AI 评分28

BoostLoRA: 通过增强适配器提升有效秩的参数高效微调方法

BoostLoRA: Growing Effective Rank by Boosting Adapters

AI 导读

参数高效微调(PEFT)方法面临适配器规模与表达力的权衡,BoostLoRA 提出一种梯度提升框架以打破此限制。该框架通过迭代训练和合并极简适配器,利用 ROTATE SVD 基策略使累积有效秩随轮数线性增长,且合并后消除推理开销。

来源:arXiv · ML · arxiv.org