arXiv · ML· Zeyu Leo Liu, Yang Li, Bo Pang, Emre Can Acikgoz, Xuan-Phi Nguyen, Anurag Koul, Srijan Bansal, Erik Nijkamp, Shafiq Joty, Semih Yavuz·· 23 小时前AI 评分43
OPD 针对 GRPO 的计算效率解析:多教师策略显著降低总 FLOPs
Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
AI 导读
系统对比显示,通用场景下 OPD 效率不及 GRPO,但在教师为同一模型 GRPO 检查点时,数学任务仅需 50 倍更少的 FLOPs 即可复现同等精度。 采用多教师 OPD 整合各领域专家,蒸馏阶段仅占 5.2% 至 8.0% 训练 FLOPs,使双域任务总计算量减少 42.0%。 该方法在保持同等精度的同时,大幅优化了跨域多任务场景下的整体计算成本。
来源:arXiv · ML · arxiv.org