arXiv · AI· Hei Yi Mak, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Huan Lin, Zhengzhi Tang, Zhexu Liu, Yao Wang, Yaoyuan Wang, Anandharaju Durai Raju, Tanzila Rahman·· 13 小时前AI 评分24
MoeResQ：实现 MoE 大模型端到端 FP4 强化学习训练与推理策略对齐
Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs
AI 导读
研究者提出 MoeResQ 量化恢复方案，强制训练与推理侧校正对称，恢复了 MoE 模型在 FP4 强化学习中的训练-推理对齐。 密集模型的 FP4 恢复策略在 MoE 中未带来性能提升，根因在于路由机制对不对称修正极度敏感。 该方法显著缩小了 FP4 与全精度模型的精度差距，确立了 FP4 MoE 强化学习的关键原则。
来源：arXiv · AI · arxiv.org