跳到正文
arXiv · ML· Yi Hou·· 2026-10-06AI 评分23

1B 规模 GRPO 在 GSM8K 上的提示词与验证器消融实验

Prompt Dominance and Asymmetric Verifier Costs: Empirical Ablations of GRPO at 1B Scale on GSM8K

AI 导读

在 OLMo-2-0425-1B 模型上,zero-shot 提示词导致精度仅为 0.08%,而 3-shot 提示词使精度提升至 18.3%,证明提示词是首要决策因素。 Off-policy 训练若无 clipping 会损失 4-6 分,采用 GRPO 或 GSPO clipping 可完全恢复;弱验证器在 RL 中比测试时选择更廉价,10% 翻转率下 RL 保留 91% 收益。

来源:arXiv · ML · arxiv.org