arXiv · ML· Ziqing Xu, Hancheng Min, Lachlan Ewen MacDonald, Salma Tarmoun, Enrique Mallada, Weijie Su, Rene Vidal·· 9 天前AI 评分38
LoRA 遗忘鲁棒性与 Adapter 合并的 margin 视角:MaLoRA
A Margin Perspective on LoRA: Robustness to Catastrophic Forgetting and Adapter Merging (MaLoRA)
AI 导读
研究通过 margin 统一视角解释 LoRA 抗遗忘能力与 Adapter 合并机制,并提出免训练的 MaLoRA 合并规则。 在正则化中间区间,最优 Adapter 对齐 max-margin 解;正则参数控制预训练数据保持与新任务适应的 margin 权衡。 该合并规则在多任务基准中匹敌或超越现有基线。
来源:arXiv · ML · arxiv.org