跳到正文
热点事件持续更新

研究揭示固定预算 RLVR 导致模型预算内化效应

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

Ilia Zavidnyi 等人发表 arXiv:2611.26172 论文,揭示固定预算 RLVR 训练引发“预算内化”现象。研究表明,设置 rollout 上限不仅控制训练成本,更限制了模型在额外推理算力下的测试时间扩展能力,导致模型行为发生非预期改变。该效应已在 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B 三个模型上复现,并涉及数学推理等任务。SFT 截断数据也能重现此现象。实验发现,模型在接近训练预算时准确率优于基线,但超出预算后准确性停止提升并低于基线模型。尽管加强 KL 正则化和降低截断率可保留更多扩展性,但前者会降低预算内准确率。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · ML
    固定预算 RLVR 导致预算内化:以测试时间扩展换取预算内准确性

    研究发现固定 rollout 上限的 RLVR 训练引发“预算内化”,模型在超出训练预算后准确率低于基线模型。 该现象在 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B 上均被观察到,且 SFT 截断数据也能复现此效应。 rollout 上限不仅控制训练成本,更限制了模型在额外推理算力下的测试时间扩展能力。

本事件热度走势

可比范围当前
6
可比范围峰值
911月20日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。