跳到正文
arXiv · ML· Yifeng Xiong, Xiaohui Xie·· 2026-10-21AI 评分32

OPLoRA:通过正交投影 LoRA 防止参数高效微调中的灾难性遗忘

OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning

AI 导读

OPLoRA 提出双侧正交投影机制,将 LoRA 更新限制在冻结权重 SVD 分解的顶部 $k$ 个奇异子空间的正交补中,数学上保证保留顶部奇异三元组。 实验显示,在 LLaMA-2 7B 和 Qwen2.5 7B 上进行常识推理、数学及代码生成任务时,OPLoRA 显著减少灾难性遗忘,同时保持具有竞争力的任务性能。

来源:arXiv · ML · arxiv.org