arXiv · NLP· Diyi Hu, Ruizhong Qiu, Lin Qiu, Hanghang Tong, Hanqing Zeng·2026-10-20 12:00· 6 小时前AI 评分33

ProbePO：用于无 Critic LLM 强化学习的稀疏探针与信用再分配

ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning

AI 导读

ProbePO 提出在有限 rollout 预算下用无奖励不确定性分数选取部分解状态，重新分配 GRPO 的轨迹级优势。该方法在 1.5B-7B 的 DeepSeekMath 和 Qwen 模型上，18 组对比中 16 组取得最高准确率；相比 VinePPO，训练时间减少 76%。

来源：arXiv · NLP · arxiv.org