Qwen3生成式奖励模型在线优化反转规律

2026年10月，基于Qwen3（0.6B-14B）的研究表明，在生成式奖励模型（GenRMs）在线偏好优化中存在缩放规律反转现象。该研究聚焦于创意写作策略优化，考察了模型作为在线偏好提供者的表现。 实验对比了Thinking评判模型与Answer-Only（SFT）模型，发现Thinking模型在GRPO静态Gold标签准确率上优于Answer-Only模型。然而，这一静态准确率排名在后续进展中并未直接决定最终效果。 在通过在线DPO训练策略时，静态准确率排名常常发生反转。后续报道称，Answer-Only奖励模型在8个匹配场景中的7个里带来了更高的策略Elo得分，显示其在线优化潜力优于静态表现更好的模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。