跳到正文
arXiv · AI· Tiejin Chen, Xiaoou Liu, Hanyang Chen, Hua Wei·· 24 天前AI 评分33

引导教师:通过激活引导提升思考模型在线策略自蒸馏效果

Steering the Teacher: Improving On-Policy Self-Distillation for Thinking Models

AI 导读

针对在线策略自蒸馏中教师模型因参考条件导致的参考幻觉和重新思考抑制问题,研究者提出了引导教师方法ST-OPSD。 该方法从推理轨迹中提取两个方向,在计算蒸馏目标时调节教师隐状态,抑制引用不可用参考的行为并鼓励在不确定步骤重新验证,学生模型则直接从未受引导的分布中学习。

来源:arXiv · AI · arxiv.org