跳到正文
arXiv · ML· Yuxuan Li, Fanhu Zeng, Hao Tang·· 2026-10-06AI 评分33

PaLoRA: 用于持续学习的节奏化低秩适应

PaLoRA: Paced Low-Rank Adaptation for Continual Learning

AI 导读

研究揭示 LoRA 持续学习中固定小学习率无法阻止遗忘随知识有效秩增长而加剧。 PaLoRA 结合自适应 SVD 截断、梯度子空间投影及节奏控制,在 50 任务基准上提升 4% 准确率。 该成果已被 NeurIPS 2026 接收,并在长时程场景表现出显著优势。

来源:arXiv · ML · arxiv.org