arXiv · NLP· Siyu Zhang, Yuquan Lu, Yoshua Y. Li, Yifan Ding, Kun Zeng, Yu Huo, Yifu Guo, Rongxiang Weng, Xunliang Cai, Xiaoying Tang·· 3 小时前AI 评分37
研究揭示 RL 对 Qwen3-4B 推理增益的关键来源
What RL Brings to Reasoning: A Few Decisions the Base Model Would Not Make
AI 导读
研究针对 Qwen3-4B-Base 模型发现，仅需在约 4% 的分歧 token 位置借用 RL 模型的生成结果，即可恢复 90.5% 的 pass@1 增益。 后续研究发现，强制以“Alright”开头可额外提升 35% 增益，且稀疏替换策略在 k=256 时解决了 67.5% 的问题。 结果表明，RL 模型对推理能力的贡献主要源于后期的决策选择，而非单纯的开头引导或整体分布。
来源：arXiv · NLP · arxiv.org