arXiv · ML· Ilia Zavidnyi, Alexander Kovrigin, Arina Puchkova, Kirill Gelvan, Sergey Titov·· 17 小时前AI 评分40
固定预算 RLVR 导致预算内化:以测试时间扩展换取预算内准确性
Budget Internalization: Fixed-Budget RLVR Trades Test-Time Scaling for In-Budget Accuracy
AI 导读
研究发现固定 rollout 上限的 RLVR 训练引发“预算内化”,模型在超出训练预算后准确率低于基线模型。 该现象在 Qwen3.5-4B、Gemma4-E2B 和 Nemotron-3-Nano-4B 上均被观察到,且 SFT 截断数据也能复现此效应。 rollout 上限不仅控制训练成本,更限制了模型在额外推理算力下的测试时间扩展能力。
来源:arXiv · ML · arxiv.org