arXiv · NLP· Wenxuan Zhu, Bang An, Shuming Liu, Wenqing Cui, Tianqi Xu, Bing Li, Yibo Yang, Peter Wonka, Bernard Ghanem·· 4 小时前AI 评分22
GCD 方法提出：通过金标蒸馏提升 SFT 在 Qwen 和 Llama 模型上的新任务表现
Self-Distillation for Supervised Fine-Tuning
AI 导读
summary_zh: 提出金标条件蒸馏（GCD）方法，解决监督微调将专家响应视为 one-hot 目标从而抑制有效替代续写的问题。 GCD 利用同一模型作为教师和学生学习，教师以包含金标响应的上下文为条件，学生以原始提示为条件，通过最小化前向 KL 散度让模型利用先验知识自学新任务。
来源：arXiv · NLP · arxiv.org