HIL-UMI:将人在环后置训练引入视觉-语言-动作模型的通用操作接口
研究人员提出 HIL-UMI,一种免物理机器人的视觉-语言-动作模型人在环后置训练框架。 该框架利用手持 UMI 采集数据,通过 Energy Score 比对人类动作与策略推理,仅在分布外区域触发数据采集;结合优势估计器优化,实现优势条件行为克隆。 在四个真实任务中,HIL-UMI 表现优于监督微调(SFT)和 HG-DAgger,且单帧采集时间更低,为 VLA 模型迭代提供可扩展路径。
研究人员提出 HIL-UMI,一种免物理机器人的视觉-语言-动作模型人在环后置训练框架。 该框架利用手持 UMI 采集数据,通过 Energy Score 比对人类动作与策略推理,仅在分布外区域触发数据采集;结合优势估计器优化,实现优势条件行为克隆。 在四个真实任务中,HIL-UMI 表现优于监督微调(SFT)和 HG-DAgger,且单帧采集时间更低,为 VLA 模型迭代提供可扩展路径。
该框架在预测轨迹末端匹配目标的基础上,利用逆动力学模型反向推断动作并计算与原始动作的残差,以此校验中间状态的可实现性。 实验显示,ACID 在 4 种动作条件世界模型和 8 个涵盖模拟及真机操作的任务中持续改进规划性能,并以显著更少的计算量达到基线的准确性。
提出 PearlVLA 视觉-语言-动作(VLA)框架,通过冻结的潜空间世界模型逐步精炼计划以解决延迟与规划效率的权衡。 利用因果精炼-分组过程奖励强化学习优化潜空间精炼过程,在 LIBERO 和 RoboCasa 基准测试中表现具有竞争力。
summary_zh: WEM 模型将具身视频解耦为世界与自我两个生成过程,解决场景一致性与指令跟随难以兼顾的问题。 其采用角色条件注意力的视觉语言状态预测器、语义路由的 SR-MoE 扩散生成器,并在 125K 片段构成的 HTEWorld 数据集上实现 SOTA 表现。
研究提出ExecVLA框架,通过双层动作表示和推理标记,将目标导向组件与执行特定组件分离,以遵循VLA模型的细粒度执行约束。 该方法引入显式目标不变性和执行可预测性目标,在LIBERO和Realman-75机器人上的实验显示,执行约束遵循可靠性大幅提升。
研究者提出 ActionCodec 动作分词器,基于信息论原则优化 VLA 模型训练效率与性能。 该分词器最大化时间 token 重叠并减少词表冗余,在 LIBERO 基准上使 SmolVLM2-2.2B 微调模型达到 95.5% 成功率。 无需机器人预训练即可取得 VLA 模型 SOTA 表现,为社区提供更有效的动作分词器设计路线图。
summary_zh: LM-X 是一款可解释的 VLA 基础模型,联合预训练了 return-to-go、event-to-go 及异方差动作流方差信号。 该模型在超过 20,000 小时异构真实机器人轨迹上训练,RoboTwin2.0 随机高难度任务成功率达 74.1%,真实机器人任务为 73.5%。
研究提出不确定性感知跨模态传感器融合框架 CRUISE,针对复杂场景下特征融合可靠性难题。 CRUISE 整合视觉语言模型引导的不确定性量化模块,生成像素级不确定性估计。框架引入动态自适应机制,显式建模并捕捉跨模态依赖。 该设计利用视觉语言模型的上下文推理能力,确保框架充分利用多传感器输入的互补性。
VLA Grounder 提出一种语言条件空间策略,通过强化学习将人类指令转化为短指令,在下游 VLA 模型保持冻结的情况下提升任务成功率。 该方法利用物体外观、空间关系和指代表线索进行指令转换,在 RL4VLA 和 VL-Think 数据集上验证了对指令敏感型任务的有效性。
RoboRSI 系统基于 TSR 框架,通过任务分解与执行证据归因,实现了机器人技能的可复用自我进化。 在 LIBERO 等基准测试中,其成功率最高领先最强基线 2.7 至 11.0 个百分点,并在移动操作平台上完成 104 轮家庭清洁任务验证。
论文提出 LeWAM,一种基于无解码器 JEPA 潜空间的双向 Transformer,支持前向、反向、逆动力学及策略预测。 线性探针从 LeWAM 潜空间读取状态优于常规 Le World Model,且更抗视觉干扰;闭环评估表现匹敌同规模流匹配策略。 规划阶段在策略头噪声空间采样而非原始动作,提升了 MPC 的闭环性能。
ARC 提出了一种推理配方,通过结合推理轨迹、自动标签流水线及适配策略,显著提升了现有机器人基础模型的零样本任务性能。 该方法无需收集新数据或进行大规模训练,即可从 DROID 等现有演示中自动生成 ARC-Trace-DROID,使 π0.5 和 Cosmos3-Nano-Policy 等模型实现改进。
论文提出 ME-World 模型,将多智能体第一人称世界建模定义为共享世界中多路 ego 流同步生成,并要求跨视角动作一致性与状态更新一致传播。 模型在共享 token 序列中联合去噪,基于所有智能体目标视角位姿与共享环境记忆生成内容,训练与评测使用真实及合成多智能体数据。 实验表明 ME-World 在共享世界一致性、动作控制、身份保持与视频质量上优于现有方法。
研究人员提出 Traceable World State(TWS),一种支持溯源、确定性回放和防篡改日志的机器人世界状态表示与运行时框架。 TWS 快照包含实体、关系、观测及置信度元数据,通过有序更新操作和 SHA-256 哈希链保证状态不可变和可审计。
提出 PhysMoDPO 直接偏好优化框架,将全身体控制器整合进训练流程,使扩散模型生成的运动在满足物理约束的同时忠实于原始文本指令。 使用基于物理和任务特定的奖励信号为合成轨迹分配偏好,避免依赖人工设计的物理感知启发式规则。在 G1 人形机器人上的零样本运动迁移和真实世界部署实验中,该方法显著提升物理真实感与任务指标。
研究人员提出人形世界动作模型 HWAM,通过联合生成参考动作与执行后的本体感觉状态,直接解决动作-执行差距。 该模型训练包含策略、前向动力学与逆向动力学三条互补路径,将策略参考、实际身体运动与视觉结果关联。 在 LimX OLI 人形机器人的抓糖任务中,HWAM 以 70.6% 成功率优于 Fast-WAM 的 43.3%。
研究人员提出一种免训练的上下文安全过滤方法 CSF,旨在解决文本条件运动生成器缺乏场景依赖性安全概念的问题。 该方法基于生成器产生的安全与不安全参考轨迹,利用安全参考跟踪 CBF-QP 执行自然语言安全规则。 在四个预训练生成器及 Unitree G1 机器人上测试,CSF 将危险事件率降低高达 90%,同时保留 88-100% 的良性运动。
SGS(Success Guided Sampling)自适应采样器通过聚焦策略能力前沿的任务配置,解决了大规模并行模拟强化学习中的探索瓶颈。该技术在超过一百万(2^20)个并行环境中成功解决了多地形四足运动和高接触装配任务。SGS 还通过将策略蒸馏为基于 RGB 的策略,实现了真实硬件上的零样本迁移。
VioLA 提出通过预测身体与手部动作潜在变量而非关节指令来控制人形机器人。该模型利用包含 1.406 亿帧数据(其中 93.2% 为人类数据)的混合演示池进行训练。在真实人形机器人上,VioLA 无需针对任务微调即可实现 100% 的运动成功率,且操作成功率为 88.6%。代码和检查点将开源。 ```
FAITH提出了一种无模型框架,通过前馈网络近似最优状态-动作安全价值来摊销最小干预过滤。 该框架在29自由度人形机器人上达到99.95%的安全率,同时保留了97%的无过滤回报。 相关策略在Unitree G1人形机器人上进行了实际演示。
研究提出刚体接触推理(RiCo)模型,通过稀疏邻域表示物体交互,在 MOVi-benchmark 上显著降低模拟误差。 该模型将 100 帧位置与方向误差分别降低 31-35% 和 38%,穿透时间与深度差异分别为 11.0% 和 2.22 mm。 RiCo 零样本泛化至 270 个物体场景,并通过多球碰撞实验初步验证了仿真到实物的迁移能力。
RoboAware通过从反事实结果中学习状态条件责任协调器,实现了模块化的机器人技能协调。在100项任务的单回合评估中,该方法达到77.0%的总体成功率。 SCB技术恢复了相同的训练状态以生成并执行代码块,暴露了选中分支经验未观察到的结果。
ACT³ 提出动作中心三流 Transformer,通过层间注意力融合 VLM 语义与 WM 动力学信息生成控制动作。 该模型允许动作专家独立访问双骨干,上下文流保持独立前向传播,并通过控制监督更新。 在模拟和真实世界机器人操作基准测试中,ACT³ 性能优于同类方法。
提出可靠性感知未来条件生成(RAFC),将时间错位视为控制问题而非生成问题,在 CALVIN 基准上将成功率从 26.7% 提升至 56.7%。 RAFC 在 FEC 基础上,每步估计对视频片段的信任度并优先选择邻近时间假设,仅从任务奖励中学习,无需移位标签。 在 Franka 机械臂自然时序失配场景下,聚合成功率从 26.7% 升至 56.7%,显著提升操作鲁棒性。
提出 PMTRM 模块解决具身策略学习中的相位歧义,仅含 7.61M 参数。 该模块编码有限历史状态,训练时引入时序异质性目标函数,推理时提供历史信息以优化任务成功率。
TACROSS系统通过在对齐接触事件而非原始传感器值层面解决异构触觉信号对齐难题,实现人类触觉数据向机器人迁移。其硬件整合五层压阻手套,含285个传感点,成本仅10.86美元。
AffordDrive3D 是一种结合可供性(affordance)与几何感知的世界-动作模型,在 NAVSIM 基准测试中创下 91.3 PDMS 和 89.9 EPDMS 的 SOTA 性能。
几何引导掩码生成运动规划(MGMP)将掩码生成 Transformer 与几何引导 Token 搜索(GGTS)结合,实现离散轨迹候选的结构化修复。 该方案在 Ring Maze 测试中成功率达 96%,在 Kuka 机器人的 Controlled Route Invalidation 任务中修复成功率为 82%,分别超过最强外部基准 23 和 25 个百分点。
WAM-Cache 提出一种免训练框架,通过跨块保留层间 KV 表征并仅重算稀疏刷新集来降低视频 DiT 预填充 FLOPs。 该框架结合动作专家交叉注意力与视觉潜变量惊讶度选择刷新集,并通过严格的年龄上限抑制误差累积。
针对 AV-LLMs 缺乏显式机制处理全局几何的问题,论文提出 FloorSAV 框架,通过渲染动态 2D 楼层图显式构建空间音频视觉上下文。该框架整合 3D 点云、相机轨迹、空间音频线索及语义地标,将楼层图作为同步流注入模型,辅助多模态推理。
Being-M0.7 是一种潜在世界-动作模型,通过混合模态人类数据预训练迁移视觉运动先验至人形机器人控制。该模型整合了 10,000 小时以上原始数据,在 SIMPLE 基准中取得最高综合成功率,并在 Unitree G1 真机任务中匹配最强基线。
Task Scrubbing 是一种领域对抗训练方法,通过提升 VLA 模型对语言的关注度,减少其利用视觉捷径学习,并改善其分布外(OOD)的鲁棒性。 该方法在多个 VLA 模型和真实世界中消除视觉捷径学习,并提出了无需策略滚动即可衡量模型行为的相关指标“动作间隔”(action margin)。
视觉-语言-动作模型 FLOWMEM 通过动态检索并重组潜在推理片段,将成功推理转化为可复用经验以条件化动作生成。 在 RoboMME 和 LIBERO-Plus 基准上,FLOWMEM 成功率分别达 48.0% 和 77.3%,较无记忆策略高出 1.7 和 4.1 个百分点。 该结果证实了复用潜在推理对闭环 VLA 控制的价值。
研究提出检测-恢复-重启系统解决长时序操作中的观测空间偏移。 系统通过任务进度监控、策略恢复及微调,在 BOSS-44 基准上将全链成功率从 7.6% 提升至 26.5%。 结果显示,恢复场景状态比重试更有效地解决了长时序组合失败问题。
该研究提出拉马克式进化框架,以候选分布间的竞争取代传统代理标准,实现场景分布与策略能力的共同进化。 实验显示,完整框架将性能损失降低最多 25.07%,轻量级策略仍实现 19.13% 的降低。 代码已在 GitHub 开源。
提出 GeZo-SAC 方法,通过几何表示自适应 critic 悲观度,在 MuJoCo-v5 运动基准测试中取得最高平均回报。 方法使用辅助 generator 定义 zonotope,通过探测方向计算几何宽度作为悲观偏移量,并聚合双 critic 分歧度。 该方法实现了最低的每米执行器功和行动努力,且所有环境保持近乎零的过估频率。
4-tensor 注意力模型在 ROCStories 数据集上预测下一语义状态,其最后句子交叉熵相比 1D Transformer 基线在 H=2, L=2 等配置下分别降低 5.3%、2.6% 和 2.4%。
NavGPT-3 在 R2R-CE 上取得 81.51% 成功率,并在 RxR-CE 上达到人类水平(90.43% 成功率)。 其 8B 参数动作策略模型 NavGPT VLA 在 R2R-CE 上单独达到 74.51% 成功率;完整系统反应时间降至每步 0.5-1 秒。 所有模型、代码及评测记录将开源发布。
TouchScale发布了基于统一传感器和采集流程的500小时人类视觉-触觉数据集。使用TouchScale进行mid-training,机器人在4个真机接触任务上的平均成功率从22.5%提升至57.5%。实验显示,仅增加TouchScale数据规模,跨传感器触觉预测准确率和真机操作成功率均持续提升,验证了触觉数据的Scaling收益。
Robium 推出,这是一个为编码智能体设计的物理 AI 框架,支持 ROS 2、Gazebo 等机器人仿真工具。 采用可编辑安装模式,无需专属 GPU 即可运行预训练策略,支持 Apple Silicon。 基于 MIT 许可开源,提供从技能包到完整应用的完整开发环境。