arXiv · ML· Mengni Jia, Mengyu Zhou, Xiaoxi Jiang, Guanjun Jiang·· 23 小时前AI 评分31
奖励预算如何缓解 LLM 推理强化学习中的过早收敛
Reward Budgeting Reduces Premature Convergence in Reinforcement Learning for LLM Reasoning
AI 导读
研究提出奖励预算（reward budgeting）方法，通过为每个提示词分配固定总奖励预算来缓解 LLM 推理强化学习中的过早收敛现象。该方法无需显式维持熵，即可在 Qwen3-8B 和 Llama3.2-3B-Instruct 上使多个 RL 基线提升，AMC23 最高 +12.50，AIME24 和 AIME25 各 +10.00。该结果已被 NeurIPS 2026 接收。
来源：arXiv · ML · arxiv.org