跳到正文
arXiv · ML· Xidong Wu, Qi Qi, Yuqiong Ji, Shangqian Gao·· 7 小时前AI 评分34

AsyncOPSD:异步在线策略自蒸馏框架提升训练吞吐量

Asynchronous On-Policy Self-Distillation

AI 导读

AsyncOPSD 通过解耦 rollout 生成与学习者更新,使 OPSD 训练吞吐量提升 $1.96$--$2.25\times$。 该框架利用单一语言模型同时充当学生与教师,消除了多模型协调开销,并引入陈旧性感知的策略控制目标。 在三个模型规模的数学推理基准测试中,AsyncOPSD 提高了平均准确率。

来源:arXiv · ML · arxiv.org