arXiv · ML· Yuante Li, Junwei Quan, Kai Qiu, Kate Zhang, Yicheng Tao·· 2026-10-14AI 评分40
双时钟框架揭示 RLVR 中大 rollout 批次学习慢但失败时点不变
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
AI 导读
论文提出双时钟框架,解释强化学习中可验证奖励训练里大 rollout 批次为何学习更慢却失败时点相近。 基于局部二次模型,平方根学习率规则保留每样本一阶漂移但不保留进度,大批次因更新次数少、曲率损失更大导致样本效率下降。 在 Qwen2.5-Math-1.5B 上的 GRPO 实验(16 倍批次范围)验证了漂移阈值假设,并推导出先低批后大批的多步 RLVR 调度策略。
来源:arXiv · ML · arxiv.org