跳到正文
arXiv · ML· Zijie Liu, Zhen Tan, Charles Fleming, Tianlong Chen·· 29 天前AI 评分38

SST框架缓解持续域适应中的灾难性遗忘

Combating Catastrophic Forgetting in Continual Domain Adaptation via Knowledge Recasting

AI 导读

SST框架通过技能模式传输缓解大语言模型持续域适应中的灾难性遗忘。该框架将新领域知识映射至模型现有技能空间,避免模型向旧状态回归。 在两个3B指令微调骨干模型上,SST使流式领域平均最终性能提升2.53至5.75分,并将最大遗忘度从42.41分降至7.10分。 SST在NeurIPS 2026主会发表,能改善对相关任务的泛化能力并显著恢复顺序更新导致的分布外退化。

来源:arXiv · ML · arxiv.org