arXiv · NLP· Xue Zhang, Songming Zhang, Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu·· 7 小时前AI 评分27
SPTA 如何通过在策略蒸馏中适配教师模型提升学生性能
Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation
AI 导读
SPTA 通过在策略蒸馏中适配教师模型，解决了长前缀导致的可靠性下降问题。 SPTA 利用强化学习（RLVR）训练教师从学生生成的前缀中恢复，并在数学推理基准测试中验证了其优越性。 该方法强调了适应学生实际访问状态的重要性。
来源：arXiv · NLP · arxiv.org