arXiv · ML· Ziwei Luo, Ziqi Jin, Lei Wang, Lidong Bing, Thomas B. Sch\"on·· 10 天前AI 评分28
Self-Rewarding SMC 提升 Masked Diffusion 语言模型采样质量
Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models
AI 导读
论文提出 self-rewarding SMC 算法,通过并行扩散过程作为粒子探索轨迹,并以 trajectory-level confidence 作为自奖励信号来分配重要性权重。该方法在多种 masked diffusion 语言模型和基准测试中验证有效,无需额外训练或奖励引导即可显著提升采样质量。
来源:arXiv · ML · arxiv.org