arXiv · ML· Xuyang Zhong, Jiuding Yang, Yiwen Guo, Chen Liu·· 4 小时前AI 评分34
MOER 提出专家前缀引导与选择性回滚的混合策略优化框架
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
AI 导读
MOER 是一个混合策略优化框架，通过注入衰减的专家链式推理前缀和选择性回滚机制，平衡专家引导与自主探索，显著稳定训练过程。 该方法使用 GRPO 损失优化在策略 token，并用信任域 SFT 损失监督专家前缀和补全 token。在数学和通用领域推理任务中，MOER 的平均得分高于所有基线方法。 代码已开源。
来源：arXiv · ML · arxiv.org