arXiv · ML· Shuibai Zhang, Junhyuck Kim, Gyeongman Kim, Jaewoong Cho·· 7 天前AI 评分40
LLM 强化学习是否必需重要性比率?
Is the Importance Ratio Necessary for Stable Reinforcement Learning in LLMs?
AI 导读
LGPO 方法通过似然门控消除旧策略似然计算,证实移除重要性采样项不损害训练稳定性,移除信任区机制则导致崩溃。 相比重算旧策略似然的 GRPO,LGPO 平均减少约 18% 训练时间,且在 GRPO 失效的全在线策略训练中保持稳定。 该工作被 NeurIPS 2026 接收,支持更高效、稳健的 LLM 强化学习后训练。
来源:arXiv · ML · arxiv.org