arXiv · ML· Yifeng Xiong, Xiaohui Xie·· 2026-10-21AI 评分32
OPLoRA:通过正交投影 LoRA 防止参数高效微调中的灾难性遗忘
OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
AI 导读
OPLoRA 提出双侧正交投影机制,将 LoRA 更新限制在冻结权重 SVD 分解的顶部 $k$ 个奇异子空间的正交补中,数学上保证保留顶部奇异三元组。 实验显示,在 LLaMA-2 7B 和 Qwen2.5 7B 上进行常识推理、数学及代码生成任务时,OPLoRA 显著减少灾难性遗忘,同时保持具有竞争力的任务性能。
来源:arXiv · ML · arxiv.org