跳到正文
arXiv · ML· Jiachun Jin, Zetong Zhou, Haonan Wang, Zhijie Deng·· 7 天前AI 评分28

SALA:语义对齐潜在动作实现具身基础模型双轴扩展

SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

AI 导读

提出SALA框架,利用非配对人类与机器人视频的语言描述估计语义相似度,监督跨具身对应关系。 无需配对数据,通过软邻域结构将人类潜在动作引导至语义相关的机器人潜空间,同时以机器人动作重建控制潜空间。 潜在动作监督支持沿增加通用人类视频预训练和增加任务特定人类视频后训练两个轴进行扩展。

来源:arXiv · ML · arxiv.org