跳到正文
10月14日周三
  1. arXiv · AI20

    EmbodiedSkills:基于世界动作模型增强的级联技能框架用于视觉语言动作智能体

    EmbodiedSkills 框架通过世界动作模型增强冻结的视觉语言动作(VLA)策略,实现了结果感知的动作选择。该框架定义了七个可复用技能,通过预测潜在后果并评估结果,从候选动作分支中优选。在 MetaWorld MT50 和 CLIPort 测试中,任务成功率分别提升至 78.64% 和 36.83%,验证了其在不同策略后端下的适用性。

  2. arXiv · AI30

    Agentic Real2Sim:基于视觉-语言智能体的物理世界建模框架

    Agentic Real2Sim 提出基于视觉-语言智能体的物理世界建模框架,将真实机器人交互记录转换为可仿真的情景孪生体。该框架在刚性物体操作、软体交互及人形运动场景中均有效,支持策略微调与评估。 采用开源 VLM 后端即可达到与前沿模型相当的转换成功率,且成本大幅降低。代码已开源,可作为真实世界策略评估的有效替代方案。

  3. arXiv · AI29

    LIFT 框架通过反应力注入加速 VLA 后训练

    LIFT 框架为预训练 VLA 策略引入反应力注入,解决视觉驱动在接触状态下的分布偏移问题,已在 CoRL 2026 被录用为 Spotlight 论文。 该框架结合因果力记忆与零初始化交叉注意力注入 6D 末端执行器力,并耦合在线 DAgger 循环混合离线与人工修正数据。 在毛巾折叠、书籍插入和汉诺塔放置任务中,LIFT 学习速度更快,峰值与最终性能均优于仅视觉 DAgger。

  4. arXiv · AI35

    CI-MSE:面向机器人操作策略的可靠离线验证指标

    CI-MSE 是一种用于机器人模仿学习策略的离线验证指标,通过零样本智能体定位关键片段并计算误差,比原始 MSE 更紧密地关联真实世界性能。在 27 个策略检查点上,CI-MSE 的 Spearman 秩相关系数达到 -0.87,显著优于原始 MSE 的 -0.61。 该方法在超参数范围内表现稳健,并为加速策略迭代提供了简单可靠的离线验证工具。

  5. arXiv · AI28

    RARM: 基于置信度门控进度奖励建模的机器人操作强化学习

    研究人员提出轻量级视觉比较器RARM,将单次成功演示转化为密集、进度感知的奖励。 RARM在通用视频上通过对比时序目标训练一次,无需机器人特定数据或任务奖励标签;部署时通过匹配片段并仅奖励高置信度的前进进度来抑制虚假阳性。 在LIBERO和MetaWorld的9个模拟任务及4个真实任务中,RARM在后续RL训练中取得了最佳整体成功率。

  6. arXiv · AI31

    FiberTune: 在视觉-语言-动作微调中保留动作-纤维视觉残差

    FiberTune 提出训练期目标,通过保留教师结构化视觉残差来防止动作监督微调导致的视觉结构压缩,且不增加推理开销。 该方法使用在线动作探针过滤中间视觉 token 表示中的动作可预测方向,结合中心方向对齐和有效秩正则化,在六个模拟设置及物理 SO-101 任务中表现优于仅任务损失微调。

  7. arXiv · AI26

    RCD 方法通过无训练引导提升组合扩散规划的长时程轨迹可靠性

    RCD 提出一种无训练引导方法,利用预训练扩散模型的自重构误差作为对数密度代理,结合重叠一致性项,将采样导向高密度全局连贯计划。 在 OGBench 的运动、物体操控及像素级观测长时程任务中,RCD 性能持续优于现有方法,有效缓解了模式平均问题。 该文已被 NeurIPS 2026 接收。

  8. arXiv · AI22

    自动驾驶层级 VQA 中的跨阶段一致性:一致性协议与参数高效门控上下文路由

    针对自动驾驶 Graph VQA 提出跨阶段上下文传递协议,对比显式提示与隐式门控投影机制。显式方法基于 Mini-InternVL2-4B 无需额外训练,降低 NLI 矛盾最高达 42.6%;隐式方法在 InternVL3-8B 上结合 QLoRA 训练,仅更新约 0.5% 参数,显著降低规划阶段 NLI 矛盾 34%,提升跨阶段蕴含 50% 及 CIDEr 分数 30.3%。

  9. arXiv · AI30

    UniT:面向人形机器人策略学习与世界模型构建的统一物理语言框架

    UniT框架通过视觉锚定和三分支交叉重建机制,建立跨具身共享离散潜在空间,解决异构运动学不匹配问题。 在策略学习(VLA-UniT)和世界模型(WM-UniT)两种范式下验证,实现SOTA数据效率、鲁棒OOD泛化及零样本任务迁移。 t-SNE可视化证实人类与人形特征收敛至共享流形,为蒸馏人类知识提供可扩展路径。

  10. arXiv · AI31

    AnolisVLA:面向移动操作任务的轻量级视觉-语言-动作模型

    研究团队提出轻量级视觉-语言-动作模型 AnolisVLA,利用深度状态空间模型高效处理多模态序列,适用于资源受限环境。 在移动端操作中,AnolisVLA 任务成功率比 30 亿参数模型 π0.5 高 21 个百分点,推理速度约为其 3 倍。 该模型在保持相近 GPU 内存占用的同时,实现了更高任务成功率和更快推理,提升了移动机器人操作的可行性。

  11. arXiv · AI33

    机器人控制中的流策略梯度方法

    流匹配策略梯度框架通过绕过似然计算,解决了机器人控制中基于似然的策略梯度方法对高斯分布的局限。 研究提出改进目标函数,在足式运动、人形运动追踪和操作任务中实现成功,并完成双足人形机器人的仿真到现实迁移。 结果显示,从零训练时策略可利用流表征进行探索,且微调鲁棒性优于基线方法。

  12. arXiv · AI28

    TTT-Parkour:面向感知型机器人跑酷的快速测试时训练

    提出 TTT-Parkour 框架,通过 real-to-sim-to-real 测试时训练,使人形机器人在未经预训练的复杂地形上实现动态跑酷。 采用两阶段端到端学习:先在程序生成地形上预训练,再用 RGB-D 重建的高保真网格在仿真中快速微调。 全流程(捕捉、重建、测试时训练)耗时约 10 分钟,机器人直接 sim-to-real 部署且无需进一步更新策略。

  13. arXiv · AI30

    Hiking in the Wild: 面向人形机器人的可扩展感知跑酷框架

    Hiking in the Wild 是一种端到端感知型腿部跑酷框架,将深度输入和自身感觉直接映射为关节动作,无需外部定位与建图。 框架包含基于可伸缩地形边缘检测和足体积点的落脚点安全机制,以及通过生成可行导航目标来抑制奖励作弊的扁平区域采样策略。 在宇树 G1 人形机器人上的实验表明,该策略支持在复杂地形上以最高 2.5 m/s 的速度稳健移动。

  14. arXiv · ML33

    自博弈与少量人类数据如何让驾驶策略获得类人自主性

    提出一种基于自博弈强化学习的驾驶策略训练方法,通过仅使用30分钟人类演示数据作为正则化目标,解决了纯自博弈策略行为异化的问题。 相比模仿学习,该方法所需人类数据减少2500倍,仅需15小时在单张消费级GPU上即可完成训练,生成的策略能与未见人类轨迹协调。

  15. arXiv · AI33

    NeuSE:面向长期基于对象的同步定位与映射的神经SE(3)等变嵌入

    论文提出神经SE(3)等变嵌入NeuSE,作为紧凑点云代理以支持基于对象的SLAM。 该潜在编码具备SE(3)与尺度等变性,可从部分观测生成,直接推导帧间变换并适配常见位姿图优化,保持轻量级物体中心地图。 在合成与真实世界多类别、多尺寸序列上,该方案独立或配合常规SLAM运行,提升了定位能力与变化感知映射一致性。

  16. arXiv · ML26

    HWM:基于隐式世界模型的层级规划范式

    HWM 提出一种在视觉隐式世界模型上进行层级模型预测控制的架构,通过多时间尺度预测和隐空间匹配将任务分解为子目标。 在真实 Franka 机械臂抓取任务中,HWM 仅凭单张目标图像实现 70% 成功率,而单层规划成功率为 0%;在长时程任务中可减少最高 3 倍的规划计算量。 该研究已被 CoRL 2026 会议接收。

  17. arXiv · AI25

    SafeBranch:面向具身智能体的分支对安全对齐框架

    SafeBranch 提出一种基于分支对的安全对齐框架,用于训练视觉语言模型驱动的具身智能体,解决交互过程中的安全约束冲突问题。 该框架通过回滚至安全关键步骤并生成替代动作构建分支对,在 IS-Bench 和 SafetyALFRED 等基准测试中,于未见过的物体变体上将安全任务成功率提升约十倍。 已被 EMNLP 2026 Findings 接受。

  18. arXiv · ML25

    LADDER:长时域机器人操作基准测试

    提出LADDER基准,包含三个测试套件、145个任务及2024条模拟轨迹,用于隔离评估长时域机器人操作中的失败模式。 低层策略在单子目标任务中成功率达85.4%,但在扩展任务中骤降至接近零;基于工具选择的编排(如GPT-Policy)成功率约为62%。 该基准证实了编排对提升长时域任务性能的作用,且受限于底层物理执行误差而非高层规划。

  19. arXiv · AI20

    质量感知 VLA 预训练:AXIS-Bench 基准与实证研究

    研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。

  20. arXiv · AI26

    LIBERO-RIG:面向视觉语言动作模型的硬件设置鲁棒性基准

    研究团队提出 LIBERO-RIG 基准,专门测试视觉语言动作模型在机器人硬件和设置发生扰动时的鲁棒性,涵盖 11 个扰动维度和 210 种条件组合。 该基准固定 LIBERO 任务,通过改变相机挂载、校准及控制速率等硬件因素生成测试场景,并评估了 9 个最新模型,采用 500 个 episode 进行统计检验。

  21. arXiv · AI27

    RoboSimStudio:面向人类与智能体的机器人操作任务 Real2Sim 交互式工具包

    RoboSimStudio 是一个交互式工具包,允许人类和编码智能体通过编辑求解器、接触模型及物理参数来迭代优化机器人操作的 Real2Sim 模拟。 该工具基于开源 Newton 物理模拟系统实现,支持视觉评估、力反馈及 Agentic Real2Sim2Real 实验,旨在解决机器人接触力学建模难题。 代码与视频已发布于项目网站,方便研究人员复现相关实验。

  22. arXiv · AI33

    Steertuning:基于少量人类视频实现机器人策略迁移

    系统 Steertuning 使机器人能在 5 分钟内通过 5 个人类演示学习新环境中的新任务,跨 12 个任务达成 71% 成功率。 系统预训练一个 400M 参数的扩散策略模型,基于 100 小时第一人称人类交互数据;微调仅需 2 分钟(2000 次更新)。 方法支持从实验室到厨房等多种新环境的本体迁移,全套数据集与代码将公开。

  23. arXiv · ML26

    基于价值保持动作量化的 VAQ-MCTS 策略学习框架

    该研究提出 VAQ 方法,通过将动作量化误差限制在状态可达性的重构误差范围内,有效保留了量化动作对未来状态和价值的影响。 基于此构建的 VAQ-MCTS 框架在行为克隆任务中显著提升了数据效率与鲁棒性,实现了零样本环境适应。 在硬件实验中,VAQ-MCTS 仅利用 10 分钟演示数据便成功完成了全部 30 次真实物体推动试验。

  24. arXiv · AI31

    Orchestra 分离任务规划与动作生成,实现长程操作机器人控制

    Orchestra 代理框架通过分离任务规划与动作生成,在 RMBench 9 项任务中实现 68.22% 平均成功率,超越 Mem-0 26.22 个百分点。 引入 RMBench-Compose 基准测试,其 7.35 平均成功子任务长度是 HarnessVLA 的 2.46 倍。 在 4 项真实多步任务中,相比基础 pi_0.5 策略提升 25.0% 平均成功子任务长度。