arXiv · ML· Jaesung R. Park, Junsu Kim, Gyeongman Kim, Jinyoung Jo, Sean Choi, Jaewoong Cho, Ernest K. Ryu·· 5 小时前AI 评分26
大语言模型强化学习中 PPO 与 GRPO 裁剪机制对熵的影响分析
Clip-Low Increases Entropy and Clip-High Decreases Entropy in Reinforcement Learning of Large Language Models
AI 导读
研究发现 PPO 和 GRPO 中的裁剪机制存在熵偏差：clip-low 增加熵，clip-high 降低熵，且后者主导导致整体熵下降。 在标准裁剪参数下，即使奖励完全随机，clip-high 仍显著降低熵；可通过设置更激进的 clip-low 值主动提升熵以增强探索。 该机制是强化学习中被忽视的混淆因素，直接影响 LLM 的推理行为，也可作为防止熵坍缩的有效控制手段。
来源：arXiv · ML · arxiv.org