跳到正文
10月28日周三
  1. arXiv · ML20

    受限空间微型振动驱动机器人集群分布式预测性聚集控制研究

    研究提出了一种无中心规划器、依赖局部邻居交换轨迹的分布式预测性聚集控制器,旨在解决高密度集群中碰撞避免受限的核心问题。 控制器基于非线性模型预测控制(NMPC),在开源振动驱动机器人数字孪生上对比了六种安全约束策略,其中前瞻离散时间控制屏障函数(CBF)表现最优,能最小化碰撞并保持最大的机器人间距。

  2. arXiv · ML20

    Dream2Assist:共享车辆控制的意图条件化世界模型

    Dream2Assist 提出了基于强化学习的框架,通过意图推断增强协同车辆控制。 框架基于递归状态空间世界模型,利用虚构共玩策略支持离散人类目标。在三个人类研究(N=30和N=10)中,意图条件化显著改善了扭矩对齐和碰撞率。 该技术为安全关键的实时人机协作系统提供了部署流水线与设计实践参考。

  3. arXiv · ML25

    TrajMamba 实时 RGB-D 行人轨迹预测模型

    轻量级双向状态空间模型 TrajMamba 实现了基于 RGB-D 相机的实时行人短程轨迹预测,在 ETH/UCY 基准上达到 0.29m ADE 和 0.51m FDE。 模型仅含 262K 参数,通过堆叠 Mamba 块编码髋部中心速度,采用 GRU 头解码,在 TIAGo 机器人搭载的 NVIDIA Jetson Orin 上实现实时运行。

  4. arXiv · ML34

    RoboJev-27B 开源视觉语言模型用于机器人操作成功检测

    RoboJev-27B 作为开源权重模型,在 SO-101 机器人 268 个留出回合上取得 95.2% 平衡准确率,支持任务指令与多帧视频输入以预测操作成功。 模型基于 JEV-27B-VL 仅微调语言模型(冻结视觉编码器),单条推理耗时 0.26 秒;在未知实验室数据上泛化 AUROC 达 0.890。 发布附带推理代码与 20,628 条预测记录,便于复现与 benchmark 评估。

  5. arXiv · AI23

    无人机机器人VLM导航系统 VLN on the Fly

    VLN on the Fly 在无人机上运行视觉-语言导航,15次试验中13次成功,平均目标误差5.72 cm,GPU利用率39.3%。 该系统分离定位、规划与控制模块,使用量化VLM进行定位,B样条规划器生成轨迹,强化学习策略执行电机控制,可在受控室内及杂乱环境中避开碰撞。

  6. arXiv · AI26

    固定 VLA 策略最小语言纠错:基于失败分类法的单句修正机制

    针对冻结视觉-语言-动作(VLA)策略,单一回顾性句子在 LIBERO-90 等场景中可修复“执行错位”模式故障。 LLM 将句子转化为动作偏差,使 OpenVLA-OFT 在分布内恢复 65/139 项失败,xArm7 实机抓取成功率从 10/30 提升至 30/30。 验证了人类对量级与时机的校准价值高于语言本身,该方案无需微调即可提升固定策略鲁棒性。

  7. arXiv · AI36

    基于 SMPC 演示与稀疏离线转在线强化学习实现机器人类操作

    研究利用仿真中基于采样的模型预测控制(SMPC)自动生成海量离线数据,解决探索难题,并仅使用稀疏任务奖励训练离线策略强化学习智能体,大幅降低新技能学习时间。 结合低级动态稳定性控制器后,策略优于原最优控制教师,并在配备机械臂的四足机器人 Spot 和人形机器人 G1 上验证了 sim-to-real 框架的鲁棒性。

  8. arXiv · AI40

    LaWAM:面向高效动力学感知机器人策略的潜在世界动作模型

    研究团队提出潜在世界动作模型(LaWAM),利用紧凑的潜在视觉子目标预测场景演化,替代高成本的像素级视频生成。 该模型在 LIBERO 基准测试中取得 98.6% 成功率,在 RoboTwin 中达到 91.22%。LaWAM 单次动作块预测延迟仅为 187 毫秒,比像素空间 WAM 降低最高 24 倍。 该工作已被 CoRL 2026 会议接收。

  9. arXiv · AI30

    StableHand:基于质量感知流匹配的双手运动估计框架

    StableHand 提出了一种质量感知的流匹配框架,用于从第一人称视频中估计世界坐标系下的双手 4D 运动。该模型通过分解腕部平移和手指关节角度为四个质量通道,利用 AdaLN 调制 DiT 去噪器以处理遮挡。在 HOT3D 和 ARCTIC 基准上,该方法将 W-MPJPE 降低了 20-25%,被 NeurIPS 2026 接收。

  10. arXiv · AI21

    AffordSim:面向具身智能操作的规模化数据生成器与基准

    AffordSim 是一个集成开放词汇 3D 可供性预测的规模化数据生成器与基准,旨在解决机器人操作依赖接触点语义且现有方法泛化性差的问题。 它通过自然语言生成场景、预测可供性并采样区域条件化抓取,随机化物体位姿与光照以支持 sim-to-real 迁移;在 50 项任务、5 种机器人构型及 500 余个物体上构建基准。

  11. arXiv · AI28

    RoboGene: 面向 VLA 预训练的多智能体任务生成框架

    RoboGene 提出了一种由多样性驱动的 Agentic 框架,用于生成单臂、双臂及移动机器人的多样化操作任务。 该框架结合多样性采样、智能体自我反思及人工验证反馈,构建了 18k 条轨迹数据集。使用 RoboGene 生成的数据进行训练后,VLA 模型在成功率与泛化性上显著优于 GPT-4o 和 Gemini 2.5 Pro。

  12. arXiv · AI33

    FlowHOI:基于流匹配的手物交互生成框架,实现灵巧机器人操作

    FlowHOI 提出一种两阶段流匹配框架,用于生成语义连贯的手物交互(HOI)序列。 该框架通过解耦几何抓取与语义操作,在 GRAB 和 HOT3D 基准上实现了 40 倍推理加速,且物理模拟成功率比最强扩散基线高 1.7 倍。 该成果已被 NeurIPS 2026 接收,并展示了将生成的 HOI 表示重定向至真实灵巧机器人执行管线的可行性。

  13. arXiv · AI34

    JRDB-AVR:面向真实环境具身智能体的主动视觉推理基准

    JRDB-AVR 提出基于真实机器人数据的主动视觉推理基准,评估具身智能体在受限视野下的证据获取与回答准确性。基准包含时间搜索、视角选择等任务,参考方法 JRDB-AVR-Agent 采用基于图的显式世界模型,代码已开源。实验显示当前 VLM 存在答案正确但缺乏视觉证据支撑的缺口,强调主动评估在具身推理中的必要性。

  14. arXiv · AI24

    Counterfactual Latent World Models (CLWM) 在部分可观测下的具身反事实推理

    CLWM 通过反事实对比目标解决预训练编码器导致的“反事实坍缩”,使模型能区分视觉相似但行为后果不同的干预。 在遮挡操作和混淆导航任务中,规划成功率分别提升至 74.6% 和 78.9%,延迟厨房场景的失败率降低至 9.7%。 该方法建立的表征无关指标可审计任意编码器,为具身智能体的动作规划提供了可靠保障。

  15. arXiv · AI27

    基于多模态框架对齐自主机器人与人类目的

    提出利用LLM和VLM实现开放环境自主机器人与人类目的对齐的多模态框架。 该框架分为语义对齐、任务生成和驱力建模三层,通过双向交互循环将自然语言人类目的转化为机器人任务与驱力。 仿真与实体机器人实验验证了其生成有效任务与行为的能力,支持交互式场景下的有效人机对齐。

  16. arXiv · AI28

    Video World Models 需要可预测的隐空间

    研究发现,优化时序可预测性的隐空间几何,能在不牺牲像素预测精度的同时提升生成式 Video World Models 性能。 该方法使推理成本降低 5 倍,训练速度提升 7 倍以上,长时程和分布外像素误差降低 15-24%。 使用视觉语言模型评估时,其像素空间预测与真实世界策略评估的一致性更高。

  17. arXiv · AI34

    RobotAgentBench 发布开放世界机器人自主性基准测试

    研究团队推出 RobotAgentBench (RAB),专用于评估开放世界家庭环境中的机器人智能体自主能力。 该基准包含 50 种家庭布局,涵盖 90 项原子任务、18 项短程任务、8 项长程任务及 4 个开放式场景。 RAB 支持在统一框架下对比 VLA/WAM 模型与智能体架构,揭示了操纵能力与自主性之间的显著差距。

  18. arXiv · AI35

    HumanoidNDM:通过人形机器人神经动力学模型弥合运动跟踪的训-部署鸿沟

    针对人形机器人在真实部署中因物理扰动或仿真建模误差导致的训-部署鸿沟,研究提出在线微调框架 HumanoidNDM。 该框架利用在 Unitree G1 机器人上验证的低频参考扰动方法采集数据,训练基于本体感觉的神经动力学模型,并通过反传模型梯度直接微调策略。 这是首个无需动作捕捉系统、支持人形跟踪策略在线微调的框架,能实现对各种扰动的快速实适应。

  19. arXiv · AI29

    RoboReason:通过可扩展数据生成提升机器人相关 VLM 推理能力

    RoboReason 提出基于双目和手腕相机图像的空间时序排序任务,以评估视觉语言模型(VLM)在机器人下游任务中的推理能力。 实验表明当前 SOTA VLM 在排序任务上表现不佳;采用自主数据生成管线,结合监督微调(SFT)与强化学习(RL),可显著提升模型在时空排序及机器人下游任务中的推理性能。 该方法有助于克服真实世界评估成本高的难题,推动 VLM 在机器人操作管线中的实际应用。

  20. arXiv · AI23

    Patchwork:域随机化具身仿真中的资源共享系统

    Patchwork 系统通过共享模板与补丁机制优化域随机化具身仿真,解决并发环境内存浪费问题。 该系统将随机化采样与回放分离,在 robosuite 和 MuJoCo 上测试显示,32 副本共享执行使 CPU RSS 降低 88-92%。 这种资源管理方式将内存增长趋势从实例数量转移至模板多样性,提升了仿真系统的资源效率。

  21. arXiv · AI28

    PoT-LIF 脉冲神经元用于事件驱动 VLA 推理

    研究引入 Power-of-Two Leaky Integrate-and-Fire (PoT-LIF) 神经元,通过发出幂级幅值脉冲实现视觉语言动作模型的稀疏计算。 该模型集成至 $\pi_{0.5}$ 的视觉及动作投影层,在 LIBERO 闭环任务中成功率达 97.25%,能效降低 86.95%。 PoT-LIF 无需重构预训练策略,支持在保持性能的同时显著降低部署能耗。

10月27日周二