跳到正文
arXiv · NLP· Qi Sun, Siyue Zhang, Tingyu Song, Yilun Zhao, Chen Zhao·· 3 天前AI 评分23

分布式在线策略蒸馏:从标量优势到分布式监督

Rethinking Offline On-Policy Distillation: From Scalar Advantages to Distributional Supervision

AI 导读

针对离线在线策略蒸馏在智能体搜索中表现不佳的问题,提出 DistOPD 方法。 该方法保留参考模型与教师模型在选定位置的候选 token 概率,其余部分聚合为残差 token。 DistOPD 性能可比在线蒸馏,提升学生与教师对齐度,且训练 GPU 小时数与 Lightning OPD 相当。

来源:arXiv · NLP · arxiv.org