arXiv · NLP· Xinyi Wang, Danqi Chen·· 4 小时前AI 评分35
定位并修复强化学习失败：通过针对性持续预训练改进语言模型推理
Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining
AI 导读
研究发现强化学习（RL）失败可由少量特征n-gram定位，利用这些n-gram检索预训练语料进行持续预训练。 该方法在OLMo2和Qwen3模型上评估，使用仅35M tokens的语料，在11个设置中的10个优于基线，GSM8K提升2.0分，且跨模型迁移有效。 这表明RL失败点可作为低成本、高效的预训练数据选择信号，优化模型推理能力。
来源：arXiv · NLP · arxiv.org