跳到正文
arXiv · ML· Katherine Tieu, Dongqi Fu, Si Zhang, Hanqing Zeng, Tianxin Wei, Chenglin Wei, Yinglong Xia, Hong Li, Jingrui He·· 14 天前AI 评分21

PBPO:用于扩散语言模型的前缀块策略优化

PBPO: Prefix-Block Policy Optimization for Diffusion Language Models

AI 导读

针对扩散大语言模型(dLLM)中块级似然不可计算的问题,研究提出前缀块策略优化(PBPO),利用单步因子化代理定义块似然。 PBPO 在保留块级条件的基础上,对每个 token 单独应用代理重要性加权和截断,并通过重采样腐蚀视图实现多样化更新。 在两个 LLaDA 系列初始化、六个基准测试及三种生成长度的评估中,PBPO 的表现优于现有 dLLM 强化学习方法。

来源:arXiv · ML · arxiv.org