GRPO与拒绝采样微调对比研究

2026年10月，研究人员Lakshya Chaudhry发布了一篇论文，基于Qwen3-4B-Base模型开展受控实验，对比GRPO（组相对策略优化）与拒绝采样微调（RFT）的效果。实验采用相同的提示词、验证器和token上限，使用LoRA微调技术，测试场景为程序化计数任务。 实验结果显示，在精心设计的提示词集下，GRPO的表现始终优于RFT，领先幅度达10.9分。进一步实验发现，引入混合难度数据可使RFT性能提升3.7分，但即使采用迭代式RFT，也只能追回与GRPO之间约30%的差距。 该研究确认混合难度数据对RFT具有正向作用，但对GRPO的具体影响目前尚无明确结论，为后续研究留下开放问题。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。