跳到正文
arXiv · ML· Xinhao Yao, Zhenxing Dou, Yong Liu·· 3 天前AI 评分38

随机地平线在策略蒸馏 (SH-OPD) 方法:在策略蒸馏中的监督扩展重新思考

Rethinking Supervision Scaling in On-Policy Distillation: From Dense Supervision to Stochastic Horizons

AI 导读

SH-OPD 通过随机改变 rollout 地平线减少冗余监督,在数学推理准确性略高于标准在策略蒸馏 (OPD) 的同时,将其计算成本降低至标准 OPD 每更新成本的 45%。 该方法的梯度分析揭示了跨响应位置的学习残差,在代码生成任务中保持了性能的同时,将成本降低至基线的 60%。 这些结果强调了在响应深度之间高效分配监督的优势。

来源:arXiv · ML · arxiv.org