跳到正文
10月9日周五
  1. arXiv · AI23

    HIL-UMI:将人在环后置训练引入视觉-语言-动作模型的通用操作接口

    研究人员提出 HIL-UMI,一种免物理机器人的视觉-语言-动作模型人在环后置训练框架。 该框架利用手持 UMI 采集数据,通过 Energy Score 比对人类动作与策略推理,仅在分布外区域触发数据采集;结合优势估计器优化,实现优势条件行为克隆。 在四个真实任务中,HIL-UMI 表现优于监督微调(SFT)和 HG-DAgger,且单帧采集时间更低,为 VLA 模型迭代提供可扩展路径。

  2. arXiv · AI43

    ACID 是一种通过动作逆动力学一致性提升世界模型规划稳定性的决策时规划框架。

    该框架在预测轨迹末端匹配目标的基础上,利用逆动力学模型反向推断动作并计算与原始动作的残差,以此校验中间状态的可实现性。 实验显示,ACID 在 4 种动作条件世界模型和 8 个涵盖模拟及真机操作的任务中持续改进规划性能,并以显著更少的计算量达到基线的准确性。

  3. arXiv · AI35

    ActionCodec: 什么是优秀的动作分词器

    研究者提出 ActionCodec 动作分词器,基于信息论原则优化 VLA 模型训练效率与性能。 该分词器最大化时间 token 重叠并减少词表冗余,在 LIBERO 基准上使 SmolVLM2-2.2B 微调模型达到 95.5% 成功率。 无需机器人预训练即可取得 VLA 模型 SOTA 表现,为社区提供更有效的动作分词器设计路线图。

  4. arXiv · AI28

    CRUISE:视觉语言模型引导的不确定性感知跨模态传感器融合

    研究提出不确定性感知跨模态传感器融合框架 CRUISE,针对复杂场景下特征融合可靠性难题。 CRUISE 整合视觉语言模型引导的不确定性量化模块,生成像素级不确定性估计。框架引入动态自适应机制,显式建模并捕捉跨模态依赖。 该设计利用视觉语言模型的上下文推理能力,确保框架充分利用多传感器输入的互补性。

  5. arXiv · AI22

    LeWAM:基于扩散导向 MPC 与 JEPA 世界动作模型的双向 Transformer

    论文提出 LeWAM,一种基于无解码器 JEPA 潜空间的双向 Transformer,支持前向、反向、逆动力学及策略预测。 线性探针从 LeWAM 潜空间读取状态优于常规 Le World Model,且更抗视觉干扰;闭环评估表现匹敌同规模流匹配策略。 规划阶段在策略头噪声空间采样而非原始动作,提升了 MPC 的闭环性能。

  6. arXiv · AI27

    ARC:一种用于机器人基础模型的推理配方

    ARC 提出了一种推理配方,通过结合推理轨迹、自动标签流水线及适配策略,显著提升了现有机器人基础模型的零样本任务性能。 该方法无需收集新数据或进行大规模训练,即可从 DROID 等现有演示中自动生成 ARC-Trace-DROID,使 π0.5 和 Cosmos3-Nano-Policy 等模型实现改进。

  7. arXiv · AI25

    ME-World 提出多智能体第一人称世界模型,支持细粒度具身交互

    论文提出 ME-World 模型,将多智能体第一人称世界建模定义为共享世界中多路 ego 流同步生成,并要求跨视角动作一致性与状态更新一致传播。 模型在共享 token 序列中联合去噪,基于所有智能体目标视角位姿与共享环境记忆生成内容,训练与评测使用真实及合成多智能体数据。 实验表明 ME-World 在共享世界一致性、动作控制、身份保持与视频质量上优于现有方法。

  8. arXiv · ML23

    PhysMoDPO:基于偏好优化实现物理合理的人形机器人运动生成

    提出 PhysMoDPO 直接偏好优化框架,将全身体控制器整合进训练流程,使扩散模型生成的运动在满足物理约束的同时忠实于原始文本指令。 使用基于物理和任务特定的奖励信号为合成轨迹分配偏好,避免依赖人工设计的物理感知启发式规则。在 G1 人形机器人上的零样本运动迁移和真实世界部署实验中,该方法显著提升物理真实感与任务指标。

  9. arXiv · AI27

    HWAM 人形世界动作模型联合生成状态与动作

    研究人员提出人形世界动作模型 HWAM,通过联合生成参考动作与执行后的本体感觉状态,直接解决动作-执行差距。 该模型训练包含策略、前向动力学与逆向动力学三条互补路径,将策略参考、实际身体运动与视觉结果关联。 在 LimX OLI 人形机器人的抓糖任务中,HWAM 以 70.6% 成功率优于 Fast-WAM 的 43.3%。

  10. arXiv · ML23

    CSF:面向运动生成器的上下文安全过滤

    研究人员提出一种免训练的上下文安全过滤方法 CSF,旨在解决文本条件运动生成器缺乏场景依赖性安全概念的问题。 该方法基于生成器产生的安全与不安全参考轨迹,利用安全参考跟踪 CBF-QP 执行自然语言安全规则。 在四个预训练生成器及 Unitree G1 机器人上测试,CSF 将危险事件率降低高达 90%,同时保留 88-100% 的良性运动。

  11. arXiv · ML40

    SGS 采样器:解决大规模机器人强化学习探索瓶颈

    SGS(Success Guided Sampling)自适应采样器通过聚焦策略能力前沿的任务配置,解决了大规模并行模拟强化学习中的探索瓶颈。该技术在超过一百万(2^20)个并行环境中成功解决了多地形四足运动和高接触装配任务。SGS 还通过将策略蒸馏为基于 RGB 的策略,实现了真实硬件上的零样本迁移。

  12. arXiv · ML39

    VioLA:基于人类数据学习通用人形机器人控制策略

    VioLA 提出通过预测身体与手部动作潜在变量而非关节指令来控制人形机器人。该模型利用包含 1.406 亿帧数据(其中 93.2% 为人类数据)的混合演示池进行训练。在真实人形机器人上,VioLA 无需针对任务微调即可实现 100% 的运动成功率,且操作成功率为 88.6%。代码和检查点将开源。 ```

  13. arXiv · ML23

    RiCo:基于局部接触推理的刚体交互神经模拟

    研究提出刚体接触推理(RiCo)模型,通过稀疏邻域表示物体交互,在 MOVi-benchmark 上显著降低模拟误差。 该模型将 100 帧位置与方向误差分别降低 31-35% 和 38%,穿透时间与深度差异分别为 11.0% 和 2.22 mm。 RiCo 零样本泛化至 270 个物体场景,并通过多球碰撞实验初步验证了仿真到实物的迁移能力。

  14. arXiv · ML21

    RAFC:面向时间鲁棒机器人操作的可靠性感知未来条件生成

    提出可靠性感知未来条件生成(RAFC),将时间错位视为控制问题而非生成问题,在 CALVIN 基准上将成功率从 26.7% 提升至 56.7%。 RAFC 在 FEC 基础上,每步估计对视频片段的信任度并优先选择邻近时间假设,仅从任务奖励中学习,无需移位标签。 在 Franka 机械臂自然时序失配场景下,聚合成功率从 26.7% 升至 56.7%,显著提升操作鲁棒性。

  15. arXiv · AI21

    几何引导掩码生成运动规划(MGMP)在机器人路径修复上的突破

    几何引导掩码生成运动规划(MGMP)将掩码生成 Transformer 与几何引导 Token 搜索(GGTS)结合,实现离散轨迹候选的结构化修复。 该方案在 Ring Maze 测试中成功率达 96%,在 Kuka 机器人的 Controlled Route Invalidation 任务中修复成功率为 82%,分别超过最强外部基准 23 和 25 个百分点。

  16. arXiv · AI22

    FLOWMEM:通过重组与精炼潜在推理流提升视觉-语言-动作模型性能

    视觉-语言-动作模型 FLOWMEM 通过动态检索并重组潜在推理片段,将成功推理转化为可复用经验以条件化动作生成。 在 RoboMME 和 LIBERO-Plus 基准上,FLOWMEM 成功率分别达 48.0% 和 77.3%,较无记忆策略高出 1.7 和 4.1 个百分点。 该结果证实了复用潜在推理对闭环 VLA 控制的价值。

  17. arXiv · ML23

    GeZo-SAC:基于 Zonotope 的软演员-评论家运动学习方法

    提出 GeZo-SAC 方法,通过几何表示自适应 critic 悲观度,在 MuJoCo-v5 运动基准测试中取得最高平均回报。 方法使用辅助 generator 定义 zonotope,通过探测方向计算几何宽度作为悲观偏移量,并聚合双 critic 分歧度。 该方法实现了最低的每米执行器功和行动努力,且所有环境保持近乎零的过估频率。

  18. 机器之心65

    TouchScale发布:500小时统一采集人类视触觉数据提升机器人操作能力

    TouchScale发布了基于统一传感器和采集流程的500小时人类视觉-触觉数据集。使用TouchScale进行mid-training,机器人在4个真机接触任务上的平均成功率从22.5%提升至57.5%。实验显示,仅增加TouchScale数据规模,跨传感器触觉预测准确率和真机操作成功率均持续提升,验证了触觉数据的Scaling收益。