跳到正文
arXiv · ML· Kevin Frans, Seohong Park, Pieter Abbeel, Sergey Levine·· 7 天前AI 评分21

CFGRL 框架:将扩散引导作为可控策略改进算子

Diffusion Guidance Is a Controllable Policy Improvement Operator

AI 导读

研究人员提出 CFGRL 框架,直接推导了策略改进与扩散模型引导之间的关系。该框架训练过程与监督学习同样简单,无需显式学习价值函数,即可在离线强化学习任务中进一步提升数据中策略的性能。 在离线强化学习实验中,CFGRL 展现出可靠趋势:提高引导权重即可提升性能。它能够将目标条件行为克隆等简单监督方法泛化,以“免费”获得整体性能提升。

来源:arXiv · ML · arxiv.org