跳到正文
arXiv · ML· Jingqiao Xiu, Yicong Li·· 17 小时前AI 评分35

通过 Shadow Posterior Matching 强化少步扩散模型

Reinforcing Few-Step Diffusion Models via Shadow Posterior Matching

AI 导读

针对少步扩散模型在黑盒奖励强化学习中存在的两个结构性挑战,本文提出 Shadow Posterior Matching(SPM)方法。 SPM 通过将生成样本重新加噪为影子输入,从影子后验分布中获取信用,并推导出回归损失以将奖励值转化为奖励方向。 应用于 4 步生成器时,SPM 在比先前少步 RL 方法更少出现奖励黑客(reward hacking)的情况下实现了更高的奖励分数。

来源:arXiv · ML · arxiv.org