跳到正文
arXiv · NLP· Guo Tang, Shixin Jiang, Heng Chang, Zihan Zhang, Nuo Chen, Yuhan Li, Huiming Fan, Jia Li, Ming Liu, Bing Qin·· 2026-10-15AI 评分26

LoopRPT: 面向循环语言模型的强化预训练框架

LoopRPT: Reinforcement Pre-Training for Looped Language Models

AI 导读

LoopRPT 提出了一种面向循环语言模型(LoopLMs)的强化预训练框架,通过将下一词元预测重构为推理任务,直接利用 EMA 教师参考和噪声隐变量 rollout 对中间步骤分配强化信号。

来源:arXiv · NLP · arxiv.org