跳到正文
arXiv · ML· Audrey Huang, Nan Jiang, Sham M. Kakade, Sadhika Malladi, Akshay Krishnamurthy, Dylan J. Foster·· 9 天前AI 评分37

后训练策略优化理论:揭示 REINFORCE 覆盖率坍塌,提出 APMD 算法实现全局收敛

A Theory of Policy Optimization in Post-Training: Coverage Collapse and Reference Resets

AI 导读

研究指出 REINFORCE 策略会导致覆盖率坍塌,提出 APMD 算法通过参考重置实现全局收敛。 适用于 Kimi 等模型的 PPO 和 GRPO 变体,确立首个全局收敛保证,明确正则化对优化成本的影响。

来源:arXiv · ML · arxiv.org