arXiv · AI· Xinjie Liu, Ruihan Zhao, Anirban Chaudhuri, Cyrus Neary, Ufuk Topcu, David Fridovich-Keil·· 2026-10-05AI 评分44
MFPG-PPO 稳定数据稀缺强化学习
Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
AI 导读
针对昂贵且稀缺的目标域数据导致策略梯度不稳定的问题,研究团队开发了适用于 GPU 并行仿真和物理机器人的 MFPG-PPO 框架。该方法利用低保真数据构建控制变量以降低方差,在最小 HF 数据预算下,其性能一致匹配使用 16 倍更多 HF 数据训练的 PPO。该算法使物理 Franka 机械臂仅通过每次更新 4 个真实机器人 episode 且无人工演示实现了稳定学习。
来源:arXiv · AI · arxiv.org