arXiv · ML· Anat Kleiman, Gintare Karolina Dziugaite, Jonathan Frankle, Sham Kakade, Mansheej Paul·· 2026-10-15AI 评分27
SFA 方法在 Qwen3-14B 持续学习中表现优于回放方法
Forget About It: Mitigating Forgetting Without Replay or Auxiliary Objectives
AI 导读
论文提出 Sequential Fine-tuning with Averaging (SFA) 方法,通过微调期间周期性参数插值缓解灾难性遗忘。 在 Qwen3-14B 持续学习中,SFA 和 Lookahead 固定配置平均准确率优于测试的回放及自适应合并方法,任务训练时间减少多达 36.3%。
来源:arXiv · ML · arxiv.org