跳到正文
arXiv · ML· Bozhen Fang, Linhao Zhong, Xuehao Wang, Huanyi Zheng, Hao Chen, Chunhua Shen·· 14 天前AI 评分40

SD-OPD:基于学生基准的在线策略蒸馏提升数学推理性能

Reinforcing What the Student Has Learned: Teacher-Guided On-Policy Distillation

AI 导读

提出 SD-OPD 方法,在 5 种 Qwen3 师生配置上将六项数学任务平均 pass@1 提升 7.76-10.37 个百分点。 SD-OPD 以预训练基模为参考,利用中心化学生-基准差异作为更新系数,并保留与教师-学生反馈符号一致的方向。 代码已公开。

来源:arXiv · ML · arxiv.org