arXiv · ML· Yixian Xu, Yuanrui Zhang, Shengjie Luo, Kaiyuan Gao, Liwei Wang, Di He·· 2026-10-06AI 评分38
扩散模型强化学习:统一路径空间视角的设计框架
Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View
AI 导读
该研究提出统一路径空间视角,将扩散模型的强化学习损失归源于单一原则,证明了反向轨迹与正向匹配方法的差异实为方差缩减效果。 通过重要性采样推导策略梯度估计器,恢复了AWM和DiffusionNFT的前向匹配结构,并设计多样本KDE估计器与尺度受限权重函数族。 在SD3.5-M和Qwen-Image模型上的实验表明,该新配方相比先前扩散模型强化学习基线具有性能提升。
来源:arXiv · ML · arxiv.org