arXiv · ML· Zili Wang, Zhaopeng Qiu, Yuekai Zhang, Shuang Yu, Seonjin Na, Hayate Iso, Junjie Lai·· 3 小时前AI 评分33
NeMo-RL 支持大规模长上下文 RL 后训练中的在线草稿协同训练
Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training
AI 导读
NeMo-RL 实现了大规模长上下文强化学习后训练中的在线草稿协同训练，通过扩展 CP 和支持 PP 数据传输，保持策略奖励与准确率接近无草稿基线。 在模型规模最高 122B 的实验中，该方案实现了 1.48–2.25 倍 rollout 加速和 1.19–1.88 倍端到端训练加速，在 256K 序列长度下实现强扩展并显著降低内存占用。
来源：arXiv · ML · arxiv.org