arXiv · AI· Chao Wang, Hongtao Tian, Tao Yang, Yunsheng Shi, Ting Yao, Wenbo Ding·· 2026-10-14AI 评分33
LLM 推理器过程监督强化学习中的 PASS 优势构建方法
Process Advantage Signal Shaping: Advantage Construction for Process-Supervised Reinforcement Learning in LLM Reasoners
AI 导读
PASS 方法为 GRPO 设计了过程优势构建流水线,通过奖励通道归一化与信号分块优化策略更新。在 7 个数学基准测试中,PASS 使 pass@1 比仅结果监督提升 4.62 分,且响应长度减少约 2%。该方法在多重 QA 任务中验证了稠密监督与信用分配的联合效应。
来源:arXiv · AI · arxiv.org