跳到正文
arXiv · ML· Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 2026-10-09AI 评分35

LLM 持续学习中通过奇异向量选择实现稳定性-可塑性平衡

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

AI 导读

研究提出 SVC 方法,通过选择性更新奇异向量通道来优化 LLM 持续学习,兼顾新能力获取与预训练知识保留。 该方法利用膝点成本筛选、Pareto 前沿过滤和 Otsu 阈值化,基于适应收益与遗忘成本自适应选择可训练通道。 在四组 LLM 家族和八个下游任务实验中,SVC 相比现有 PEFT 基线在保留预训练能力的同时实现了强劲的下游性能。

来源:arXiv · ML · arxiv.org