arXiv · AI· Yingping Wang, Min Cai, Chenyu Yuan, Xi Ye, Zhijiang Guo, Jiayi Huang·· 24 天前AI 评分31
DoubleFree:利用探索历史实现无 Rollout 的多任务 LLM 训练
DoubleFree:Exploiting Exploration History for Rollout-Free Multi-Task LLMs Training
AI 导读
提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。
来源:arXiv · AI · arxiv.org