arXiv · NLP· Kenan Tang, Andong Hua, Chengxuan Qian, Saket Tiwari, Yao Qin·· 2026-10-09AI 评分36
SFT-as-Context 缓解监督微调中的遗忘问题
SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning
AI 导读
提出无需训练的 SFT-as-Context 方法,利用父模型将 SFT 模型响应作为上下文进行回答,在保留通用能力的同时获取微调后的专项能力。在 19 对父子模型和 11 个基准测试中,该方法在 AIME 2024 和 LiveCodeBench 上与 SFT 模型差距仅为 2.2 和 2.1 个百分点,通用能力平均差距保持在 2.2 个百分点以内。
来源:arXiv · NLP · arxiv.org