arXiv · ML· Jianhao Zhang, Ou Wu, Yi Du·· 7 小时前AI 评分26
NADS：基于导航器引导的数据选择以缓解微调中的灾难性遗忘
NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning
AI 导读
NADS框架通过导航器模型偏差评估合成候选数据的遗忘感知效用，平衡LLM新任务性能与通用能力保留。 该方法利用导航器与预训练模型的预测分歧打分，结合高效的效用-多样性选择策略构建约束集，降低计算开销。 论文已被NeurIPS 2026接收，代码已公开，旨在解决预训练数据不可用时微调导致的灾难性遗忘问题。
来源：arXiv · ML · arxiv.org