跳到正文
arXiv · ML· Chung Min Kim, Brent Yi, David McAllister, Hongsuk Choi, Himanshu Gaurav Singh, Jinkun Cao, Ken Goldberg, Pieter Abbeel, Carmelo Sferrazza, Angjoo Kanazawa·· 2026-10-07AI 评分27

QF3:基于过滤 Q-梯度的快速 Flow RL 算法

QF3: Fast Flow RL with Filtered Q-Gradients

AI 导读

QF3 是首个能从零训练人形运动策略并零样本迁移至硬件的离策略 Flow RL 方法。 该算法通过过滤动作维度保留可靠的 critic 梯度,结合离线策略训练配方,较 FPO++ 实现 10 倍训练加速。 在 ABC-Sim 和 Robomimic 任务上验证了从演示微调预训练 Flow 策略的能力。

来源:arXiv · ML · arxiv.org