arXiv · AI· Jingyuan Huang, Zuming Huang, Yucheng Shi, Zhongzhi Li, Xiaoming Zhai, Wei Chu, Ninghao Liu·· 2026-10-08AI 评分21
Train4Merge:RL 或 SFT 哪种算法能产出更优质的 OPD 模型合并教师
Train4Merge: RL or SFT---Which Yields Better Teachers for OPD-Based Model Merging?
AI 导读
研究发现,基于 RL 训练的 Qwen3.5-9B 教师模型在 Agentic 等三域中经 OPD 蒸馏出的学生模型性能优于 SFT 教师,最高领先 4.27 分。 RL 教师在 Agentic 域仅偏移 44.44% 参数位移,而最优 RL 学生恢复了 115.00% 的教师增益并超越教师。 较小参数位移更利于 OPD 学习,支持 RL 教师更适合模型合并的假设。
来源:arXiv · AI · arxiv.org