跳到正文
arXiv · ML· Maoqi Liu, Quan Fang, Yufei He·· 2026-10-07AI 评分31

CoDe-LoRA: 通过知识巩固与解耦缓解 LLM 持续学习中的正交性困境

CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling

AI 导读

提出无需重放的方法 CoDe-LoRA 解决 LLM 持续学习中的“正交性困境”,在 4 个骨干网络和 3 个基准测试中取得最佳平均准确率。 该方法利用自适应零空间投影和语义路由机制,将学习过程解耦为通用知识巩固与任务特定知识分离,以平衡知识积累与适应。 研究已被 EMNLP 2026 主会接收,代码已公开。

来源:arXiv · ML · arxiv.org