跳到正文
热点事件持续更新

MOER混合策略优化框架提出

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

MOER是一个混合策略优化框架,由Xuyang Zhong等人提出。该框架旨在平衡专家引导与自主探索,通过注入衰减的专家链式推理前缀和引入选择性回滚机制,以显著稳定训练过程。 在方法实现上,MOER采用GRPO损失优化策略token,同时利用信任域SFT损失监督专家前缀及补全token。实验表明,在数学和通用领域推理任务中,MOER的平均得分高于所有基线方法。 目前,该研究的代码已开源,供学界和业界参考使用。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · ML
    MOER 提出专家前缀引导与选择性回滚的混合策略优化框架

    MOER 是一个混合策略优化框架,通过注入衰减的专家链式推理前缀和选择性回滚机制,平衡专家引导与自主探索,显著稳定训练过程。 该方法使用 GRPO 损失优化在策略 token,并用信任域 SFT 损失监督专家前缀和补全 token。在数学和通用领域推理任务中,MOER 的平均得分高于所有基线方法。 代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。