arXiv · AI· Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang·· 8 小时前AI 评分24
提出 Teacher-Evolution Self-Distillation (TESD) 提升自蒸馏效果
On-Policy Self-Distillation with Teacher Evolution
AI 导读
OPSD 在训练中常因教师模型在部分样本上提供不可靠指导而失败。作者提出 Teacher-Evolution Self-Distillation (TESD)，通过让自教师基于任务正确性和上下文独立性生成 rollout 并接收环境反馈来持续增强其自教学能力。
来源：arXiv · AI · arxiv.org