研究者提出AsyncOPSD异步自蒸馏框架

研究者 Xidong Wu 等人提出了 AsyncOPSD（异步在线策略自蒸馏）框架。该框架通过解耦 rollout 生成与学习者更新环节，显著提升了 OPSD 的训练吞吐量，提升幅度在 1.96 至 2.25 倍之间。 在机制上，该框架利用单一语言模型同时充当学生与教师角色，从而消除了多模型协调带来的额外开销。同时，框架内引入了陈旧性感知的策略控制目标，以优化训练过程。 实验方面，研究团队在三个不同模型规模的数学推理基准测试中验证了该方法。结果显示，采用 AsyncOPSD 框架后，模型在相关测试中的平均准确率得到了提高。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。