arXiv · AI· Yuanzhi Zhu, Eleftherios Tsonis, Simo Alami Chehboune, Xi Wang, St\'ephane Lathuili\`ere, Vicky Kalogeiton·· 29 天前AI 评分38
DualHeads:通过奖励倾斜实现简洁的少步扩散模型微调
DualHeads: Reward-tilted few-step diffusion made simple
AI 导读
研究提出 DualHeads 方法,利用轻量级双分类头在冻结扩散模型上实现少步生成的奖励对齐。该方法无需可微奖励,仅需外部奖励评估与参考样本,通过最大化加权对数几率实现 KL 正则化奖励最大化。 实证显示,DualHeads 在少步生成中接近 40 步强化学习方法的任务奖励,且保持图像质量,无额外推理成本。 该简洁双头架构有望推动少步奖励倾斜生成技术的发展。
来源:arXiv · AI · arxiv.org