arXiv · ML· Jingqiao Xiu, Yicong Li·· 17 小时前AI 评分35
通过 Shadow Posterior Matching 强化少步扩散模型
Reinforcing Few-Step Diffusion Models via Shadow Posterior Matching
AI 导读
针对少步扩散模型在黑盒奖励强化学习中存在的两个结构性挑战,本文提出 Shadow Posterior Matching(SPM)方法。 SPM 通过将生成样本重新加噪为影子输入,从影子后验分布中获取信用,并推导出回归损失以将奖励值转化为奖励方向。 应用于 4 步生成器时,SPM 在比先前少步 RL 方法更少出现奖励黑客(reward hacking)的情况下实现了更高的奖励分数。
来源:arXiv · ML · arxiv.org