跳到正文
arXiv · NLP· Lei Yang, Wei Bi, Chenxi Sun, Renren Jin, Deyi Xiong·· 6 小时前AI 评分34

Thinking Seeds:基于模型自身历史推理状态重启 On-Policy RL 的训练方法

Thinking Seeds: Restarting On-Policy RL from the Model's Own Past Reasoning States

AI 导读

Thinking Seeds 提出利用历史 rollout 作为起始状态重启 On-Policy RL,以解决早期策略状态随训练消失导致的分布不匹配问题。 在代码生成任务中,仅将前缀作为状态使用的方法达到 52.19 分,优于包含前缀动作训练的 50.20 分及 On-Policy 训练的 48.58 分。

来源:arXiv · NLP · arxiv.org