WAS-PO策略：提升训练奖励但未增强泛化

2026年11月3日，Olaitan Olaleye等人提出WAS-PO策略，旨在通过白化归一化优势项来校正多奖励强化学习中的相关性偏差。该方法在Qwen2.5-1.5B-Instruct的工具调用任务中表现显著，平均训练奖励比基准GDPO策略高出3.8%至3.9%。 然而，研究结果也指出了该方法的局限性。虽然训练奖励有所提升，但泛化准确率并未随之提高。具体而言，在三个奖励场景下，其准确率略低于GDPO但不显著；在四个奖励场景下，绝对值低0.03。此外，在两个奖励的场景中，WAS-PO的训练奖励甚至落后于GDPO。这些发现表明，当前的增益主要源于训练阶段，尚未有效转化为模型的实际应用能力。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。