跳到正文
arXiv · AI· Lin Long, Tianren Ma, Zhong Chu, Di Wu, Maosong Cao, Qixiang Ye, Junbo Zhao, Shanghang Zhang·· 9 天前AI 评分42

Ego Guidance:利用无动作人类第一视角视频增强机器人策略学习

Ego Guidance: Enhancing Robot Policy Learning with Action-Free Human Egocentric Videos

AI 导读

研究人员提出 SPAR(MoT)架构,基于预训练 VLM 实现机器人策略学习,无需动作监督即可利用人类第一视角视频。 该架构通过未来视觉状态预测提供独立且互补的学习信号,实验表明从第一视角视频学习的表征能提升分布外机器人任务性能,且随视频数据规模扩大收益进一步增加。 研究还探讨了目标函数选择与数据筛选的影响,为利用无动作视频进行可扩展机器人学习提供了洞见。

来源:arXiv · AI · arxiv.org