跳到正文
arXiv · ML· Yilan Chen, Zian Su, Manish Prajapat, Dingmin Wang, Rein Houthooft, Rui Song, Vijay Lingam·· 2026-10-14AI 评分37

提出基于奖励对齐的知识蒸馏方法 RAD

Reward-Aligned Distillation

AI 导读

新框架 RAD 将蒸馏信号权重与学生更新后的预测奖励效应对齐,克服了标准蒸馏忽视奖励改善信号的问题。 该框架通过临时优化器步对每个 token 的监督效果评分,在同等训练预算下将 Qwen3-1.7B 在六个竞赛数学基准上的平均准确率提升 6.5 个百分点。

来源:arXiv · ML · arxiv.org