利用n-gram定位RL失效点以改进模型推理
热点事件持续更新
利用n-gram定位RL失效点以改进模型推理
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月20日，Xinyi Wang和Danqi Chen在arXiv发布论文，提出一种改进语言模型推理的新方法。该方法发现强化学习（RL）的失败点可由少量特征n-gram定位，并据此检索预训练语料进行针对性持续预训练，从而修复RL失效。 在OLMo2和Qwen3模型上，该方法仅使用35M tokens的语料，在11个设置中的10个优于基线，GSM8K提升2.0分。同时，针对OLMo2-1B失败点检索的语料能有效迁移至Qwen3-4B，带来1.9分的混合提升，证明了跨模型迁移的有效性。 研究结果表明，RL失败点可作为低成本、高效的预训练数据选择信号，为优化模型推理能力提供了新路径。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
定位并修复强化学习失败：通过针对性持续预训练改进语言模型推理报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · NLP定位并修复强化学习失败：通过针对性持续预训练改进语言模型推理
研究发现强化学习（RL）失败可由少量特征n-gram定位，利用这些n-gram检索预训练语料进行持续预训练。 该方法在OLMo2和Qwen3模型上评估，使用仅35M tokens的语料，在11个设置中的10个优于基线，GSM8K提升2.0分，且跨模型迁移有效。 这表明RL失败点可作为低成本、高效的预训练数据选择信号，优化模型推理能力。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月20日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。