研究揭示固定预算 RLVR 导致模型预算内化效应
热点事件持续更新
研究揭示固定预算 RLVR 导致模型预算内化效应
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Ilia Zavidnyi 等人发表 arXiv:2611.26172 论文,揭示固定预算 RLVR 训练引发“预算内化”现象。研究表明,设置 rollout 上限不仅控制训练成本,更限制了模型在额外推理算力下的测试时间扩展能力,导致模型行为发生非预期改变。该效应已在 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B 三个模型上复现,并涉及数学推理等任务。SFT 截断数据也能重现此现象。实验发现,模型在接近训练预算时准确率优于基线,但超出预算后准确性停止提升并低于基线模型。尽管加强 KL 正则化和降低截断率可保留更多扩展性,但前者会降低预算内准确率。
AI 根据报道生成 · 13 小时前更新
最新进展11月20日 13:00
固定预算 RLVR 导致预算内化:以测试时间扩展换取预算内准确性报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · ML固定预算 RLVR 导致预算内化:以测试时间扩展换取预算内准确性
研究发现固定 rollout 上限的 RLVR 训练引发“预算内化”,模型在超出训练预算后准确率低于基线模型。 该现象在 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B 上均被观察到,且 SFT 截断数据也能复现此效应。 rollout 上限不仅控制训练成本,更限制了模型在额外推理算力下的测试时间扩展能力。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 911月20日 16:00
- 近 24 小时变化
- –
02.557.510
18:0021:0011月21日03:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。