arXiv · NLP· Lei Yang, Wei Bi, Chenxi Sun, Renren Jin, Deyi Xiong·· 6 小时前AI 评分34
Thinking Seeds:基于模型自身历史推理状态重启 On-Policy RL 的训练方法
Thinking Seeds: Restarting On-Policy RL from the Model's Own Past Reasoning States
AI 导读
Thinking Seeds 提出利用历史 rollout 作为起始状态重启 On-Policy RL,以解决早期策略状态随训练消失导致的分布不匹配问题。 在代码生成任务中,仅将前缀作为状态使用的方法达到 52.19 分,优于包含前缀动作训练的 50.20 分及 On-Policy 训练的 48.58 分。
来源:arXiv · NLP · arxiv.org