跳到正文
arXiv · ML· Egor Shibaev, Danila Biktimirov, Ivan Klimov, Artem Makoian, Viacheslav Meshchaninov, Dmitry Vetrov·· 2 天前AI 评分30

ReMaRL: 在冻结扩散语言模型中学习解掩码与重掩码

ReMaRL: Learning to Unmask and Remask in Frozen Diffusion Language Models

AI 导读

ReMaRL 提出一种约 0.3M 参数的轻量级策略,利用 GRPO 算法在冻结 LLaDA-8B-Instruct 模型上学习解掩码与重掩码决策。 该策略在数学任务 4-32 次及代码任务 8-16 次模型调用预算内,取得了优于对比策略的最终答案准确率。

来源:arXiv · ML · arxiv.org