arXiv · ML· Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou·· 17 小时前AI 评分33
O²LaF:复用视频扩散 Transformer 进行自监督隐式动作学习
One Prior, Two Dynamics: Repurposing Video Diffusion Transformers for Self-Supervised Latent Action Learning
AI 导读
研究提出 O²LaF 框架,通过复用预训练视频 DiT 为逆动力学和正向动力学提供先验,实现自监督隐式动作学习。 该方法使用带有可学习动作查询的前馈转移编码器作为逆动力学,并采用因果动作条件视频生成器作为正向动力学。 在导航和机器人操作任务中,O²LaF 在少样本动作探测上取得了新的最先进水平,并增强了跨视觉环境和具身形态的零样本动作迁移能力。
来源:arXiv · ML · arxiv.org