X-Nav 技术报告:人形机器人 X-Nav 实现真实场景长时程室内外导航
X-Nav 是首个基于指令驱动双足人形机器人完成从室内到室外长时程任务的系统。核心导航模型 MELIOR 仅使用 RGB 图像输入,在 R2R-CE 和 RxR-CE 基准测试中取得了具有竞争力的结果。
X-Nav 是首个基于指令驱动双足人形机器人完成从室内到室外长时程任务的系统。核心导航模型 MELIOR 仅使用 RGB 图像输入,在 R2R-CE 和 RxR-CE 基准测试中取得了具有竞争力的结果。
研究发现,基于部分可观测性的 Bellman 专家监督优于全知地图的 TSP 专家,在 2000 步预算下 Bellman-VLN 找到 71.4% 目标,显著高于 TSP-VLN 的 65.5%。 结果揭示了最优路由与最优探索的区别,表明有效的探索监督应优化部分可观测性下的决策,而非模仿全知环境下的路径。
联合世界动作模型生成的轨迹往往缺乏任务有效性。WATO 通过联合优化动作与状态,利用可微任务损失训练生成器,提升了轨迹的动态一致性。 在 7 个视觉控制环境中,WATO 将平均成功率从模仿学习的 79.9% 提升至 91.7%,并优于多种强化学习基线。 部署阶段无需迭代优化,相比 CEM 平均快 11.5 倍,且使用的世界模型评估次数减少 600.5 倍。
summary_zh: NVIDIA 在韩国 COEX 举办为期两天的 AI Day Seoul,吸引超过 2000 名参与者,聚焦物理 AI 和 AI Agent 的发展。
Hugging Face 发布教程,指导利用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐构建抓放模拟。 SimReady Central 提供带验证属性的 OpenUSD 资产,示例采用 GPT-6 Sol 生成控制代码,需安装 Isaac Sim 6.2。 该流程通过 Profile 验证确保资产物理属性正确,支持开发者复用经过基准校验的机器人组件。
NVIDIA 发布 Instant NuRec,前馈神经网络将短时多视角驾驶日志单次前向转化为可仿真的 3DGS 世界。 10-20 秒多摄像头场景重建耗时约 1.5 秒,在 Waymo 数据集上 PSNR 较最强基线提升 2.01 dB。 模型深度集成于 NuRec,并支持 AlpaSim 闭环仿真,降低自动驾驶开发成本并提升安全性。
summary_zh: NVIDIA 发布实时生成式世界模型 OmniDreams,通过中后期训练 Cosmos 扩散模型,在 21k 小时驾驶场景数据上实现动作条件视频的自回归生成。
该框架结合 Isaac Sim 虚拟温室与四足移动机械臂,支持环境调控与植物干预。 使用冻结的 DINOv2 和 BERT 编码器,全模型在温度、湿度和土壤水分预测上分别达到 0.249℃、2.030 个百分点和 0.997 个百分点的 MAE。 导航轨迹误差为 5.22-17.32 mm,32/40 个机械臂目标通过几何验收,但未在真实温室验证。
三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。
JustRUA 在 RoboDojo 基准测试中将 GPT-6 机器人使用智能体得分从 29.7 提升至 50.3。 该研究基于官方 L3 harness,去除了学习策略和任务微调,主要依靠保留完整情节历史和动作界面实现性能跃升。 分析表明,经验复用并非免费午餐,且场景几何信息对模型表现提升最为显著。
研究团队提出 RUMI 手持接口,专为匹配 Robotiq 2F-85 机器人夹爪设计,支持接触前输入与接触后力测量。 通过 VR 头显提供实时 AR 运动学可行性反馈,并引入触觉反馈机制支持力感知遥操作。 用户研究显示,结合实时可视化与姿态初始化后,关节限位违规集数从 16/50 降至 3/50。
EMS-Nav 提出一种受生物学启发的多尺度导航框架,以区域为基本单元组织感知、空间理解与导航,适用于在线端侧运行。 该框架将物体及其关系归纳为功能性有意义局部空间,并构建从局部到整体的层级结构,支持高效地图构建与不同尺度语言目标执行。
CARE-Drive模型在NAVSIM v1基准上取得88.8 PDMS分数,比未优化的基础轨迹提升2.4分。 该模型将轨迹优化分解为航点残差修正和航向生成,通过模仿学习和辅助任务训练。 这种专业化设计简化了物理量修正过程,同时保持预测时的条件耦合性。
研究提出 CFGComposer,一种联合训练的动作扩散模型,通过估计 Copula 分数 $s_I$ 校正音频与文本模态间的交互偏差。模型在 BEAT 数据集上实现最佳语义保真度(FID 27.18),盲测胜率 76-83%。该成果在 Unitree G1 人形机器人上验证了直接 Sim-to-Real 迁移能力。
研究识别出后验先验认知差距,显示世界模型想象状态逐步丢失障碍物信息。 监督探针在 15 步内 AUC 从 0.85 降至 0.71,logit 分离度下降 57%。 该差距导致规划器无法标记失败,任务条件加权虽提升性能但仍依赖特权坐标。
该研究提出轻量级框架 HDH,通过利用冻结视觉语言动作模型(VLA)自身部署产生的回顾数据改进动作验证。HDH 在 LIBERO-10 基准任务中平均成功率达到 82.3%,在三个真实世界操作任务中比基线策略平均成功率提升 22.6%。该框架在保持 VLA 冻结状态的同时,有效降低了策略查询时的验证延迟并提升了操作成功率。
AstroMemBench 是一个针对航天器具身智能体记忆系统的基准,包含 16 项记忆子挑战、140 个模板和 2240 个实例。 该基准通过确定性环境评估任务完成度、状态变化、安全性和资源使用,涵盖行星表面作业、在轨服务和深空探索等九大任务。 实验显示 Mem0 等在会话重启后优于 RAG,支持航天器具身智能体记忆系统的设计与选型。
具身智能体推理框架 HeMeR 实现了 83.20% 的任务成功率,将单步推理时间从 2.94 秒降至 1.87 秒。 该框架通过协调陈述性、程序性及工作记忆,仅对受记忆更新影响的 KV 状态进行重算,复用未变内容的 KV 状态。 该方法已在 ALFWorld、Habitat 及真实机器人部署中验证,并被 NeurIPS 2026 接收为 Oral 论文。
AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。
提出SALA框架,利用非配对人类与机器人视频的语言描述估计语义相似度,监督跨具身对应关系。 无需配对数据,通过软邻域结构将人类潜在动作引导至语义相关的机器人潜空间,同时以机器人动作重建控制潜空间。 潜在动作监督支持沿增加通用人类视频预训练和增加任务特定人类视频后训练两个轴进行扩展。
EgoX框架利用具身梦境训练MXT+,在13个任务-具身组合上将平均归一化任务进度从0.63提升至0.80。 MXT+采用模块化跨具身Transformer架构,通过共享主干和专用编码器/专家,预测未来视觉与本体感觉状态以增强动力学建模。 该方法在分布外条件下显著有效,将平均任务进度从0.53提升至0.77,验证了跨具身预训练的优势。
BlinkMimic 是一种新的人形机器人动作跟踪训练配方,在单张 RTX 4090 上仅需 3.4 分钟即可训练完全部 40 个 LAFAN1 动作片段。 该方法结合了 SuperMimic 和 InstantTrack 的优势,通过动态步长、故障导向重置和 GPU 图形捕获加速训练过程,留一消融实验验证了各组件的有效性。 开源代码及单种子结果已公开,显著降低了训练成本。
H2E 方法将成功代理经验蒸馏至视觉语言动作(VLA)模型,取代直接蒸馏规划器。测试时 VLA 可独立导航,无需 LLM 调用。 在 REVERIE-CE 验证集 3189 个未见过回合中,H2E 将 8B 参数量 VLA 的成功率从 35.0% 提升至 44.9%。
研究基于 π½ 模型在动态仿真与真实机器人任务中验证,最优预测时域约为 1 秒,且保持轨迹连续性的方法优于单纯降低延迟的方法。 实验发现执行时域最优值取决于具体检查点,异步执行下短时域优势更明显,策略适配可修复特定故障,但输送带上调节执行时域效果同样显著。 结论指出反应性取决于执行流水线与策略模型,二者需联合评估。
预训练视频世界模型的预测评分混淆了编码器质量、近未来与近期过去的相似性及预测器贡献。 在27,000次家庭第一人称视频未来检索试验中,V-JEPA 2.1的预测器贡献了+0.291的top-1准确率,而V-JEPA 2仅贡献+0.03至+0.04。 作者建议将预测评分与其持续性基线一同报告,该差距是使数字可解释的必要检查。
研究提出名为 STTC-EFRL 的强化学习框架,解决网联自动驾驶车辆在高动态环境下的安全轨迹跟踪难题。该框架将问题重构为 epigraph 形式的 min-max 优化,通过调节标量改善梯度方向,避免拉格朗日法中梯度幅值放大导致的训练不稳定。
CHORD 提出基于接触力矩空间引导的强化学习框架,实现灵巧机器人长时程操作。 该框架在包含 4,739 项任务的仿真基准中,于 1,831 项任务上达到 82.12% 平均成功率。 CHORD 还实现了从手部到全身操作及真实世界的迁移,全身操作成功率为 90.77%。
该研究提出由刚性臂与柔性操作器串联的混合机器人系统,采用定制化模仿学习算法实现单次泛化。 系统匹配或超越刚性机器人在堆叠等经典任务中的表现,并实现通过狭窄开口抓取物体等全新行为。 证明了刚柔结合能弥补智能缺失,拓展操作技能边界。
OHCAM 提出在线假设驱动方法,通过最大化竞争假设间分歧以主动降低不确定性,从而学习复杂动作模型。 该方法从简单假设集开始,仅在与数据不一致时扩展至复杂条件,具备可扩展性。 在 6 个基准规划领域及 Kinova Gen3 机器人实验中,OHCAM 展现出样本高效性,解决任务数显著超过基线。
研究人员提出 SPAR(MoT)架构,基于预训练 VLM 实现机器人策略学习,无需动作监督即可利用人类第一视角视频。 该架构通过未来视觉状态预测提供独立且互补的学习信号,实验表明从第一视角视频学习的表征能提升分布外机器人任务性能,且随视频数据规模扩大收益进一步增加。 研究还探讨了目标函数选择与数据筛选的影响,为利用无动作视频进行可扩展机器人学习提供了洞见。
Curie's Jarvis 让机械臂在人类布局的操作台上执行化学实验,无需固定位置或标记。该系统读取纸质指令照片,通过四个相机视角识别容器标签定位目标。在 Franka Panda 机械臂上,完成 5/5 和 4/5 次实验运行,160 次标签识别全部正确。 使机器人更接近人类进行化学实验的方式。
summary_zh: PhysMoE 模型提出解耦 VLM 架构,在 9 个坐标定位基准测试中平均提升 15.7%,吞吐量加速 8.31 倍。 其核心创新包括通过物理模态路由共享下层网络,并将每个坐标编码为单个 Token 以复用视觉编码器位置嵌入。
APS-VLA框架通过行动引导与未来感知的视觉Token剪枝提升机器人控制效率。该框架冻结预训练VLA主干,利用轻量级决策影响评估器基于视觉观察、语言指令和本体感受对Token进行评分与硬选择,在部署时移除辅助预测器。
Embodied Science Agent (ESA) 通过统一数字智能与物理具身,解决了自驱动实验室中物理接地缺失的问题。 ESA 包含数字智能体、具身智能体和统一接口,在废水处理实验中导航超 2 亿种条件。 15 轮实验使溶液透过率从 82% 提升至 99.7%,其视觉运动策略实现了跨仪器布局泛化。
研究展示了在纳米粒子超晶格上利用编码代理进行自主同步辐射 X 射线实验。 在三次实验中,61%-67% 的消息涉及解释或判断,方法学贡献占比从 46% 升至 56%-61%。 结果显示,59%-68% 的错误修正涉及多方参与,为多智能体科学系统设计提供指导。
研究提出名为“Show, Don't Tell”的自监督系统,通过观看人类演示视频训练定制物体检测器,消除对语言描述和昂贵提示工程的依赖。 该方法直接展示特定物体而非使用复杂语言描述,自动生成数据集进行监督学习,显著优于现有检测与识别方法,提升了机器人任务完成率。
研究提出 GoRL 框架,通过解耦优化与生成来解决在线强化学习中的矛盾。该算法将策略优化限制在可处理的潜空间,利用扩散或流匹配解码器生成动作,确保稳定性与表达力。 实证结果显示,GoRL 在多种连续控制任务中显著优于基线模型。在 HopperStand 任务中,其回报超过 870,是强基线的 3 倍以上。在人体任务中,它比最强非 GoRL 基线高出一个数量级。
基于π0.5的单一VLA模型在OmniGibson模拟器中完成100项长时序家务任务,位列2026 BEHAVIOR挑战赛第9名,为前十名中唯一独立团队。 模型训练20万步处理2.11亿帧演示数据,14项任务由GPT-6 Astra编码代理控制机器人,平均Q值达0.639,显著优于学习策略的0.108。
研究提出融合持续学习的谈判策略,将面部表情识别实时个性化。66名参与者与机器人谈判实验中,该方法显著提升了个体效用及对方让步率。 该架构在交互后台异步更新模型,产生更高平均唤醒度估计及更宽输出范围。
针对 VLM 评委可靠性评估不足,提出 State-Conditional Invariance (SCI) 原则及 GridWM-Judge 诊断基准。 GridWM-Judge 基于 MiniGrid 确定性轨迹构建,包含 5 类诊断任务,涵盖局部感知与因果判别。 研究揭示 VLM 评委存在对证据呈现敏感及反事实判别弱等失效模式,建议联合报告正确率与因果敏感度。