跳到正文
arXiv · ML· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 2026-10-09AI 评分32

Riemannian Isometric Policy Optimization 克服 LLM RL 探索崩溃

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

AI 导读

Riemannian Isometric Policy Optimization (RIPO) 通过保证黎曼流形上的等距策略更新,克服了 PPO-Clip 因欧氏度量导致的探索崩溃。 该方法修正了低概率区域更新保守、高概率区域激进的几何缺陷,实现了良好的偏差-方差平衡。 RIPO 在 AIME24 上较 GRPO 提升最高 60%,并在 7 个竞赛级基准测试中显著超越现有 LLM RL 算法。

来源:arXiv · ML · arxiv.org