arXiv · NLP· Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo·· 8 小时前AI 评分41
vOPD：引入控制变量基线稳定大语言模型在线策略蒸馏
KL for a KL: On-Policy Distillation with Control Variate Baseline
AI 导读
研究提出vOPD，将在线策略蒸馏（OPD）视为策略梯度强化学习，引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线，无需额外critic或推理，保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中，vOPD性能优于基础OPD，且与高成本全词表方法持平。
来源：arXiv · NLP · arxiv.org