arXiv · ML· Lakshya Chaudhry·· 7 小时前AI 评分25
GRPO vs. 拒绝采样微调：基于 Qwen3-4B-Base 的控制对比分析
Is it RL or Data? A Controlled Comparison of GRPO and Rejection-Sampling Fine-Tuning
AI 导读
针对 Qwen3-4B-Base 模型的控制实验表明，GRPO 在测试问题上始终优于拒绝采样微调（RFT）。 在精心策划的提示词集下，GRPO 比 RFT 高出 10.9 分；混合难度数据使 RFT 提升 3.7 分，但迭代 RFT 仅追回约 30% 的差距。 研究证实混合难度数据对 RFT 有效，但对 GRPO 的影响尚不明确。
来源：arXiv · ML · arxiv.org