生成式奖励模型（GenRMs）在线偏好优化中的扩展规律：Qwen3 评判模型研究表明静态准确率不决定下游 DPO 优化效果

在基于 Qwen3（0.6B-14B）的生成式奖励模型研究中，Thinking 评判模型在 GRPO 静态 Gold 标签准确率上优于 Answer-Only（SFT）模型，但该排名在通过在线 DPO 训练策略时常常反转，Answer-Orny 奖励模型在 8 个匹配场景中的 7 个里带来更高的策略 Elo。