arXiv · ML· Amit Sagtani, Saloni Garg·· 23 小时前AI 评分35
可验证奖励强化学习在监督微调之外的边际价值测量
Measuring the Marginal Value of Verifier-Based RL Beyond Supervised Fine-Tuning
AI 导读
研究显示，在 GPU 训练故障诊断基准测试中，GRPO 带来的分布外收益有限，主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中，SFT 达到 0.785 分数，而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成，所有代码和生成数据已归档，支持完全复现。
来源：arXiv · ML · arxiv.org