跳到正文
11月16日周一
  1. arXiv · ML40

    WATO 通过可微轨迹优化实现联合世界动作模型

    联合世界动作模型生成的轨迹往往缺乏任务有效性。WATO 通过联合优化动作与状态,利用可微任务损失训练生成器,提升了轨迹的动态一致性。 在 7 个视觉控制环境中,WATO 将平均成功率从模仿学习的 79.9% 提升至 91.7%,并优于多种强化学习基线。 部署阶段无需迭代优化,相比 CEM 平均快 11.5 倍,且使用的世界模型评估次数减少 600.5 倍。

11月14日周六
  1. Hugging Face Blog36

    使用 SimReady 资产在 Isaac Sim 中构建机器人抓放模拟

    Hugging Face 发布教程,指导利用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐构建抓放模拟。 SimReady Central 提供带验证属性的 OpenUSD 资产,示例采用 GPT-6 Sol 生成控制代码,需安装 Isaac Sim 6.2。 该流程通过 Profile 验证确保资产物理属性正确,支持开发者复用经过基准校验的机器人组件。

11月13日周五
  1. arXiv · AI34

    NVIDIA 提出 Instant NuRec,前馈 3D 高斯重建实现驾驶场景仿真

    NVIDIA 发布 Instant NuRec,前馈神经网络将短时多视角驾驶日志单次前向转化为可仿真的 3DGS 世界。 10-20 秒多摄像头场景重建耗时约 1.5 秒,在 Waymo 数据集上 PSNR 较最强基线提升 2.01 dB。 模型深度集成于 NuRec,并支持 AlpaSim 闭环仿真,降低自动驾驶开发成本并提升安全性。

  2. arXiv · AI23

    AgriSense:虚拟温室中的视觉-语言决策支持与机器人干预框架

    该框架结合 Isaac Sim 虚拟温室与四足移动机械臂,支持环境调控与植物干预。 使用冻结的 DINOv2 和 BERT 编码器,全模型在温度、湿度和土壤水分预测上分别达到 0.249℃、2.030 个百分点和 0.997 个百分点的 MAE。 导航轨迹误差为 5.22-17.32 mm,32/40 个机械臂目标通过几何验收,但未在真实温室验证。

  3. arXiv · AI34

    三元组增量训练框架:将通用 VLM 转化为多功能驾驶 VLM

    三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。

  4. arXiv · AI24

    RUMI:匹配 Robotiq 2F-85 的 AR 力反馈通用操作接口

    研究团队提出 RUMI 手持接口,专为匹配 Robotiq 2F-85 机器人夹爪设计,支持接触前输入与接触后力测量。 通过 VR 头显提供实时 AR 运动学可行性反馈,并引入触觉反馈机制支持力感知遥操作。 用户研究显示,结合实时可视化与姿态初始化后,关节限位违规集数从 16/50 降至 3/50。

  5. arXiv · AI32

    HDH 框架利用冻结视觉语言动作模型的回顾数据实现低延迟动作验证

    该研究提出轻量级框架 HDH,通过利用冻结视觉语言动作模型(VLA)自身部署产生的回顾数据改进动作验证。HDH 在 LIBERO-10 基准任务中平均成功率达到 82.3%,在三个真实世界操作任务中比基线策略平均成功率提升 22.6%。该框架在保持 VLA 冻结状态的同时,有效降低了策略查询时的验证延迟并提升了操作成功率。

  6. arXiv · AI26

    AstroMemBench:面向航天器具身智能体记忆系统的基准

    AstroMemBench 是一个针对航天器具身智能体记忆系统的基准,包含 16 项记忆子挑战、140 个模板和 2240 个实例。 该基准通过确定性环境评估任务完成度、状态变化、安全性和资源使用,涵盖行星表面作业、在轨服务和深空探索等九大任务。 实验显示 Mem0 等在会话重启后优于 RAG,支持航天器具身智能体记忆系统的设计与选型。

  7. arXiv · AI40

    HeMeR:通过结构化 KV 复用实现具身智能体的异构记忆协调

    具身智能体推理框架 HeMeR 实现了 83.20% 的任务成功率,将单步推理时间从 2.94 秒降至 1.87 秒。 该框架通过协调陈述性、程序性及工作记忆,仅对受记忆更新影响的 KV 状态进行重算,复用未变内容的 KV 状态。 该方法已在 ALFWorld、Habitat 及真实机器人部署中验证,并被 NeurIPS 2026 接收为 Oral 论文。

  8. arXiv · AI35

    AFTER:面向误差驱动保持的自适应快慢时间尺度世界模型

    AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。

  9. arXiv · ML28

    SALA:语义对齐潜在动作实现具身基础模型双轴扩展

    提出SALA框架,利用非配对人类与机器人视频的语言描述估计语义相似度,监督跨具身对应关系。 无需配对数据,通过软邻域结构将人类潜在动作引导至语义相关的机器人潜空间,同时以机器人动作重建控制潜空间。 潜在动作监督支持沿增加通用人类视频预训练和增加任务特定人类视频后训练两个轴进行扩展。

  10. arXiv · ML30

    EgoX:通过具身梦境实现以自我为中心的跨具身操纵

    EgoX框架利用具身梦境训练MXT+,在13个任务-具身组合上将平均归一化任务进度从0.63提升至0.80。 MXT+采用模块化跨具身Transformer架构,通过共享主干和专用编码器/专家,预测未来视觉与本体感觉状态以增强动力学建模。 该方法在分布外条件下显著有效,将平均任务进度从0.53提升至0.77,验证了跨具身预训练的优势。

  11. arXiv · ML27

    BlinkMimic:单卡 GPU 数分钟内训练人形机器人动作跟踪策略

    BlinkMimic 是一种新的人形机器人动作跟踪训练配方,在单张 RTX 4090 上仅需 3.4 分钟即可训练完全部 40 个 LAFAN1 动作片段。 该方法结合了 SuperMimic 和 InstantTrack 的优势,通过动态步长、故障导向重置和 GPU 图形捕获加速训练过程,留一消融实验验证了各组件的有效性。 开源代码及单种子结果已公开,显著降低了训练成本。

  12. arXiv · ML20

    执行策略如何提升 VLA 模型的动态操控反应性?基于 π½ 的研究

    研究基于 π½ 模型在动态仿真与真实机器人任务中验证,最优预测时域约为 1 秒,且保持轨迹连续性的方法优于单纯降低延迟的方法。 实验发现执行时域最优值取决于具体检查点,异步执行下短时域优势更明显,策略适配可修复特定故障,但输送带上调节执行时域效果同样显著。 结论指出反应性取决于执行流水线与策略模型,二者需联合评估。

  13. arXiv · ML32

    预测还是惯性?世界模型的预测评分忽视了什么

    预训练视频世界模型的预测评分混淆了编码器质量、近未来与近期过去的相似性及预测器贡献。 在27,000次家庭第一人称视频未来检索试验中,V-JEPA 2.1的预测器贡献了+0.291的top-1准确率,而V-JEPA 2仅贡献+0.03至+0.04。 作者建议将预测评分与其持续性基线一同报告,该差距是使数字可解释的必要检查。

11月11日周三
  1. arXiv · AI23

    OHCAM 通过不确定性引导探索学习具有条件化与量化效应的动作模型

    OHCAM 提出在线假设驱动方法,通过最大化竞争假设间分歧以主动降低不确定性,从而学习复杂动作模型。 该方法从简单假设集开始,仅在与数据不一致时扩展至复杂条件,具备可扩展性。 在 6 个基准规划领域及 Kinova Gen3 机器人实验中,OHCAM 展现出样本高效性,解决任务数显著超过基线。

  2. arXiv · AI42

    Ego Guidance:利用无动作人类第一视角视频增强机器人策略学习

    研究人员提出 SPAR(MoT)架构,基于预训练 VLM 实现机器人策略学习,无需动作监督即可利用人类第一视角视频。 该架构通过未来视觉状态预测提供独立且互补的学习信号,实验表明从第一视角视频学习的表征能提升分布外机器人任务性能,且随视频数据规模扩大收益进一步增加。 研究还探讨了目标函数选择与数据筛选的影响,为利用无动作视频进行可扩展机器人学习提供了洞见。

  3. arXiv · ML23

    Show, Don't Tell: 通过观看人类视频检测新物体

    研究提出名为“Show, Don't Tell”的自监督系统,通过观看人类演示视频训练定制物体检测器,消除对语言描述和昂贵提示工程的依赖。 该方法直接展示特定物体而非使用复杂语言描述,自动生成数据集进行监督学习,显著优于现有检测与识别方法,提升了机器人任务完成率。

  4. arXiv · ML26

    GoRL:通过解耦优化与生成解决在线强化学习中生成策略的优化难题

    研究提出 GoRL 框架,通过解耦优化与生成来解决在线强化学习中的矛盾。该算法将策略优化限制在可处理的潜空间,利用扩散或流匹配解码器生成动作,确保稳定性与表达力。 实证结果显示,GoRL 在多种连续控制任务中显著优于基线模型。在 HopperStand 任务中,其回报超过 870,是强基线的 3 倍以上。在人体任务中,它比最强非 GoRL 基线高出一个数量级。

  5. arXiv · ML33

    基于状态条件不变性的可靠 VLM 评委诊断框架

    针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。