arXiv · AI· Abhijeet Sinha, Sundari Elango, Dianbo Liu·· 6 小时前AI 评分22
期望回报导致强化学习结果层面模式坍缩及其通过逆概率缩放的修正方法
Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling
AI 导读
强化学习中结果层面模式坍缩是期望回报目标函数的结构性后果，而非探索不足。理想动力学下，结果对数概率比随奖励差线性演化，导致指数发散。 研究者提出逆概率缩放（IPS）修正，在 GRPO 中实例化为 IPS-GRPO。该方法无需辅助模型，在推理和分子生成任务中持续减少坍缩，性能匹配或超越基线。 证实修正目标函数比添加探索启发式更关键，能防止多模态设置下的坍缩。
来源：arXiv · AI · arxiv.org