arXiv · ML· Pu Cao, Min Zhou, Ying Shu, Tiezheng Ge, Qing Song, Lu Yang·· 2 天前AI 评分24
Advantage-Gated Adaptation (AGA) 提升扩散强化学习的奖励-质量权衡
When Anchors Shift the Target: Advantage-Gated Adaptation for Diffusion Reinforcement Learning
AI 导读
Advantage-Gated Adaptation (AGA) 通过解耦正负样本更新机制,在组合生成、文本渲染和偏好对齐任务中持续改善奖励-质量权衡。 该方法对正样本保留标准目标拟合,对负样本采用移动策略预测处的一阶切线以保持局部排斥方向;参数无自由度门控定义为 omega(a)=max(-a,0),并由冻结预训练参考负责长程行为保持。
来源:arXiv · ML · arxiv.org