arXiv · ML· Salah Chikhi, Luis Zuin, Entong Li, Zeng Li·· 11 天前AI 评分33
自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器
Adaptive Scheduling Pipeline for Multi-Instance Asynchronous Reinforcement Learning
AI 导读
自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。
来源:arXiv · ML · arxiv.org