跳到正文
arXiv · ML· Ruichuan Huang, Jinghan Liu, Congliang Chen·· 21 天前AI 评分21

ACPO:基于优势裁剪策略优化的 LLM 强化学习训练方法

Towards Better Training Signal: Advantage Clipped Policy Optimization

AI 导读

提出 ACPO 算法,通过裁剪重要性采样比与优势值的乘积,解决 LLM 强化学习训练中复用离策略数据导致的稳定性问题。 ACPO 在标准数学推理基准测试中,其准确率和训练效率均优于 PPO 和 GRPO,在 Qwen3-8B 模型上带来 4-6 个百分点的提升。 证明了裁剪后的策略镜像下降(PMD)在标准强化学习设定下的收敛性。

来源:arXiv · ML · arxiv.org