arXiv · NLP· Sutanshu Saksena Raj, Purusharth Malik, Pasunuti Prasanjith, Daksh Maan, Parijat Chatterjee, Avinash Benki·· 7 天前AI 评分36
多语言混合专家模型后训练中的能力漂移:奖励机制外视角
Outside the Purview of the Reward: Capability Drift in Multilingual Post-Training
AI 导读
多语言混合专家模型在 GRPO 后训练中,发布分支 MATH 提升 36.07 分,但 XQuAD-Indic F1 下降 19.32 分。 独立训练的兄弟分支通过指令遵循与语言感知塑造,恢复印地语任务分数并保留 MATH 成绩,但牺牲了竞赛数学与代码能力。 后续轮次中,印地语分支出现提取性能骤降,无奖励蒸馏从早期检查点恢复大部分 F1;MATH 增益主要源于答案框格式增加,而非实质准确性提升。
来源:arXiv · NLP · arxiv.org