arXiv · ML· Mathew Jacob, Morgan Borjigin-Wang, Kan Zhu, Po Hao Chen, Yi Pan, Andy Ruan, Nayani Modugula, Ethan Lavi, Luis Ceze, Malte Schwarzkopf, Akshay Narayan, Deepti Raghavan, Stephanie Wang·· 4 天前AI 评分23
TIDE:恢复大语言模型在线强化学习中的损失性能
TIDE: Reclaiming Lost Performance In On-Policy Reinforcement Learning
AI 导读
TIDE 系统通过在长尾 rollout 期间动态将 GPU 转用于训练并迁移任务,解决 LLM 同步 RL 后训练中因等待长尾导致的资源闲置问题。 该技术采用自适应迁移策略自动确定资源重分配时机,在多种硬件配置下无需定制配置即可提升解码吞吐量。 TIDE 实现端到端最高 1.36x 加速,优于所有评测的在线策略基线,达到最优吞吐量的 97%。
来源:arXiv · ML · arxiv.org