arXiv · ML· Ting Gao, Stavros Orfanoudakis, Nan Lin, Winnie Daamen, Serge Hoogendoorn, Elvin Isufi·· 17 小时前AI 评分28
FMER：基于流匹配、镜下降与熵约束的在线强化学习策略优化
Flow Matching Policy Optimization with Mirror Descent and Entropy Constraints
AI 导读
研究人员提出FMER框架，利用ODE-based流匹配解决SDE扩散策略中熵计算困难及梯度不稳定的问题，实现了免模拟的策略优化。 FMER推导了解析熵目标以修正tanh变换带来的密度失真，并证明优势加权的条件流匹配损失可作为策略镜下降的免模拟代理，避免通过ODE求解器反向传播。 实验表明FMER在稀疏奖励的FrankaKitchen环境中表现优异，并在MuJoCo密集奖励基准上保持竞争力。
来源：arXiv · ML · arxiv.org