跳到正文
arXiv · ML· Yushu Wang, Renkai Yang, Jingcao Xu, Zili Geng, Haihong Tang, Yaohui Jin, Hao He·· 2026-10-19AI 评分35

GR-OPD:基于组相对序列信用分配的在线策略蒸馏方法

GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation

AI 导读

GR-OPD 通过解耦反馈计算与信用分配,将 token 反馈聚合为校准后的序列级信用,在五个 Qwen3 教师-学生设置和六个数学推理基准中全面超越传统 OPD。 方法通过降低因分布漂移导致可靠性下降的后期反馈权重,并利用同提示 rollout 组校准教师指导,在保持相对响应偏好的同时保留受控的集体教师压力。 实验表明适度集体压力提升学习稳定性,但过度压力或无限制反馈范围会导致训练不稳定。

来源:arXiv · ML · arxiv.org