arXiv · NLP· Fang Wu, Weihao Xuan, Danny Xing, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi·· 2026-10-15AI 评分31
RLVR 可能加剧“支持收缩”而非真正拓展 LLM 推理边界
The Invisible Leash: Why RLVR May or May Not Escape Its Origin
AI 导读
研究指出,当前强化学习可验证奖励(RLVR)训练常导致“支持收缩”,即丢失的已验证解多于新增的。该现象在提升 pass@1 的同时,可能使模型对既有解法更集中、对其他解法访问减少。该失衡揭示了 RLVR 中的“隐形缰绳”,亟需引入探索新策略以保留旧解并拓展覆盖。
来源:arXiv · NLP · arxiv.org