Schrödinger's Navigator:零样本物体导航的多未来想象框架
Schrödinger's Navigator 是一种信念感知框架,通过在推理时想象多个轨迹条件3D未来,解决零样本物体导航中单场景推断脆弱的问题。 框架利用轨迹条件3D世界模型预测假设观测,维护可行场景叠加态;结合自适应遮挡感知采样器和未来感知价值图(FAVM)进行鲁棒动作选择。 模拟及Go2四足机器人实验表明,该框架在遮挡严重场景中优于强基线,提升了隐藏目标发现率和风险感知航点选择。
Schrödinger's Navigator 是一种信念感知框架,通过在推理时想象多个轨迹条件3D未来,解决零样本物体导航中单场景推断脆弱的问题。 框架利用轨迹条件3D世界模型预测假设观测,维护可行场景叠加态;结合自适应遮挡感知采样器和未来感知价值图(FAVM)进行鲁棒动作选择。 模拟及Go2四足机器人实验表明,该框架在遮挡严重场景中优于强基线,提升了隐藏目标发现率和风险感知航点选择。
研究提出可控信息产生(CIP)方法,通过测量代理产生信息的速率来统一内在动机与最优控制。 CIP 在机器人学习标准基准上表现优于先前方法,并解决了人形机器人自救等此前失败的任务。 结果表明,物理智能源于将系统驱动至可控混沌边缘,揭示了价值函数结构与 Kolmogorov-Sinai 熵的联系。
提出基于对象重定向的人类演示后训练方法,42个采集在8台机器人上求解157对,通过率为31.2%。 记录包含物体姿态、接触区间及重建3D模型,仿真中每个(机器人,片段)对得出通过、失败或拒绝结果,拒绝案例13/13验证有效。
FoveaVLA模型通过预测注视动作替代腕部相机,解决外部相机分辨率低导致的细节丢失问题。 基于π0.5构建的单双视角配置,在DROID数据集上后训练。 单视角在四项真实任务中成功率达70.8%,双视角达77.1%,超过腕部相机基线的52.1%。
MorphAct 提出上下文参数化框架,通过耦合生成器动态调整机器人策略参数,解决共享参数固定导致的操作适应不足问题。 该框架在 LIBERO 和 Meta-World 基准上实现最高 16.30% 性能提升,真实世界评估中相比 $\pi_{0.5}$ 提升最高 14%。
MUCO 通过定义可复用的操作单元(MUs)并基于校准成功率调度策略模型,实现跨任务组合执行。 系统在 RLBench、RoboTwin 2.0 及 5 项真实任务中验证,无需联合训练即可提高任务成功率并降低错误传播。
提出不确定性驱动自我博弈方案,使驾驶策略在 nuplan Val14 零样本迁移得分达 99.12%,Argoverse 2 达 82.39%。 探索智能体利用认知不确定性作为难度代理,自动生成高挑战性场景课程,无需人工设计。 LSTM 隐状态覆盖率提升 85%,高不确定性智能体失败率为低不确定性者的 14.8 倍。
RGT 模型结合 VLM 目标选择与实时推理,生成协调的头部与眼部运动。 该 Transformer-VAE 基于 11-DoF 关节空间训练,使用 4 维双眼轨迹条件化控制,在双秒基准测试中取得最低七关节 MSE。
研究在 MuJoCo 中对比 o1 与 o4-mini 执行立方体抓取和字母重塑任务。通过 GRPO 训练开放权重指令策略,正向奖励率从 31.6% 升至 35.3%。 日志审计发现正向标签与几何失败消息关联,且独立评估协议将任务成功判定与机器人控制分离,以支持可复现评估。
summary_zh: WEDGE框架提出一种弱点引导的导航学习方法,利用预训练智能体的失败模式生成针对性训练环境。 该系统使用LLM从成功与失败轨迹对比中提出可执行弱点特征,经诊断集验证后映射至控制环境因素,并在策略薄弱的难度区间构造环境。
MIND 框架通过指令条件依赖实现机器人目标房间的增量维护,避免环境变化后的全量重评。在 240 个 ProcTHOR 序列中,平均语义评估从 30.6 次降至 11.2 次,1200 个决策全部保留。该框架在 Unitree G1 机器人实验中验证了跨房间目标复用与重新选择的有效性。
研究人员在 6U 立方星上成功部署了基于 NVIDIA Jetson TX2 NX GPU 的热分割模型,实现了模型在太空中的训练、推理及利用该模型对月球进行闭环姿态控制。 研究采用 ROS 2 Foxy 作为数据传输中间件并集成开源文件系统,在约一年内完成了 12 项实验,验证了现代学习管道在低地球轨道约束下的可靠性。 该成果展示了商业硬件与开源软件组合在自主航天系统中的应用潜力。
通用灵巧策略DexMimic通过价值引导重置分配,在多样化手-物体交互(HOI)轨迹上联合训练。 该方法在线适配初始化分布,优先训练难阶段并选择高预期回报的重置状态。 实验证明其提升了跟踪成功率与效率,具备零样本泛化潜力,并已在真实平台上验证。
HiMeco是一种受脑启发的自进化智能体,旨在解决具身空间任务中因部分视觉证据导致的失败诊断难题。 该智能体通过Hippocampal-Metacognitive Reflection机制诊断感知、探索和规划环节的失败,并提取可复用策略。 HiMeco在ESI-Bench上取得最先进性能,且在EmbSpatial-Bench上将准确率提升3.94个百分点。
VLRLA框架为现有VLA模型提供部署时适应能力,通过上下文强化学习从历史交互经验中持续优化策略,模型参数保持不变。 该模块学习历史观察、动作、奖励及终止信号,使策略在部署过程中逐步提升任务成功率,兼容多种学习历史构建策略和模型训练流水线。 实验验证了其在仿真环境中的学习特性,并展示了在真实部署中适应未见场景的能力。
NVIDIA 在瑞典投资 Lovable 和 Legora,推动其优化开源模型推理与训练。 北欧 AI 云预计 2027 年底部署 1 GW 算力,Spotify 采用 TensorRT-LLM 降低推理成本。 该生态将支撑欧洲独角兽密度领先,助力初创企业实现规模化应用。
研究发现直接剪枝会导致 VLA 模型性能严重下降且增加安全风险。为此提出 GLUESTICK 恢复方法,无需额外训练即可在推理时校正权重。 在 GLUESTICK 作用下,模型可恢复 100% 成功率与接近密集模型的安全性,同时节省 5 GB 内存并实现 1.75x 加速。
HiRe-MoMa框架通过层级残差架构微调冻结基础策略,利用低于20%覆盖率的稀疏人类干预重塑价值景观,实现移动操作系统的样本高效微调。 该框架在TIAGo++平台实测中仅通过约30分钟在线交互即可提升任务性能,且效果独立于基础策略架构。这是首个支持真实世界机器人高效在线微调的移动操作框架,为动态环境部署提供了实用范式。
研究采用潜空间扩散框架,将线性自编码器与 Diffusion Transformer 结合,在 Unitree G1 机器人强化学习训练的网络权重上生成可部署的控制策略,实现行走、舞蹈等真实世界动作。
TEMPO 是一种测试时熵正则化、内存引导的策略优化方法,能在无奖励条件下在线自适应机器人策略。在 Unitree Go2 等模拟及真实环境中,该方法较无自适应基线最高提升 80% 性能。 该方法结合熵促进正则化与基于分数的内存机制,优先处理“困难”观测并聚焦有限计算资源。已作为论文被 NeurIPS 2026 接收。
该研究在CARLA模拟器中使用鸟瞰图(BEV)视角进行自动驾驶行为克隆,通过集成核密度估计器动态调整训练样本权重,显著提升了模型对红绿等关键动作的学习能力,尤其在专家示范样本稀缺时效果明显。 该方法输出的卷积神经网络(CNN)基于BEV输入和状态变量生成转向与加速指令,实验结果证明加权行为克隆在标准行为克隆难以适应的未知测试环境中表现出更高的路线完成率。
C-Slerp 算法通过超球面参数化,利用对比表示生成中间路点,在无需先验数据或预训练模型的情况下,从零学会搭建最高八层的积木塔。 该方法在长时程导航和机器人操作任务中成功,甚至在强基线失败的场景下也能取得成功,消融实验表明固定路点数量会显著降低性能。
研究发现对抗强化学习可揭示传统随机化方法遗漏的行星着陆控制器漏洞,并预示该方法能提升鲁棒性。该方法构建非对称顺序零和博弈,通过三阶段训练交替优化控制器与扰动生成器。 在三维自由度的着陆环境初步实验中,对抗扰动展示了更强的泛化能力,适用于未来更广泛的训练任务。
VLX-Go 提出一种视觉-语言航点策略,通过多阶段学习将带干扰项的人体追踪成功率提升至 58.22%。 该策略结合冻结视觉编码器、Transformer 主干网络及轻量级头部,在 19,532 个 oracle episodes 上进行追踪专项训练,并减少 1.99 个百分点的碰撞率。 研究支持多阶段多模态学习是共享空间中人体追踪的有效方向。
具身智能体 AdaRSI 框架通过按需微调执行器,显著提升无示范任务表现。 在 RoboCasa365 基准中,使用 GR00T N1.5 执行器且无人工示范,AdaRSI 将未见过组合任务成功率从 4.6% 提升至 13.8%。 该方法仅用 28% 的 GPU 时间和 22% 的自采集演示数据,实现略高于全子步微调的成功率。
MemWM 通过引入内容寻址记忆库增强 JEPA 风格的潜在世界模型,在 PushT、Tworoom 等基准上以轻量架构取得最先进性能,优于传统潜在世界模型的长程规划表现。 该方法在共享潜在空间内跨多个时间尺度学习高层表征,采用自适应层归一化进行预测条件化,并设计促进槽位多样性与时间平衡利用的损失函数防止表征坍缩。
提出 Latent Telepathy 方法,利用冻结的自监督编码器广播感知潜向量实现多机器人通信,在固定带宽下使导航器在 99.7% 的集数中避开遮挡危险,效果等同于无噪声设计消息。 该方法无需额外计算开销,且在连续速度控制下的网格世界与渲染像素场景中均有效,物理机器人相机 102 次实时决策全部成功识别危险。
提出启发于平衡点假设的 Lambda-Hold 控制器,使肌肉驱动的骨骼模型在约 1 小时训练内仅用最小奖励学会类人冲刺。 通过固定每个 Lambda 在步态相位区间内的值来减少策略查询频率,该方法将平衡点假设、间歇控制与最优反馈控制相结合,为开发可学习的人体运动控制器提供基础。
SiMDex 框架无需改变 VLA 架构或训练流程,通过形态无关动作空间中的三阶段级联筛选出高价值人类视频数据。 该策略证明选择性数据策划在灵巧操作中优于无差别数据混合,提升跨本体泛化效率。
提出 Diffusion ReRoll,一种通过选择性再噪化实现跨时间步迭代的机器人序列预测扩散框架。在 OGBench 规划任务中,其相对 Diffusion Forcing 的成功率提升 21%;在 LIBERO-10 动作预测中,相对 Diffusion Policy 提升 56.5%。该工作已被 CoRL 2026 接收为 Spotlight,并在真实导航场景中验证了抗视觉分布偏移能力。
该方法通过分离奖励、约束与能量最小化机制,实现无显式步态先验的四足移动。 相比传统基线,成本降低 56% 且违规减少 96%,策略可零样本迁移至 Unitree Go2。
研究人员提出RAM,一种形态条件化的隐式神经表示,用于快速替代位姿可达性计算,能泛化至未知形态并处理自碰撞。 RAM基于3×10¹⁰样本训练,达到84%平衡准确率,推理速度比生成式基线快三个数量级。 该速度优势延伸至下游任务,使形态与轨迹优化加速一至两个数量级,成果已被CoRL 2026接收。
SeeTraceAct 是一种演示条件视觉语言动作(VLA)框架,通过可见性感知预测未来末端执行器轨迹,提升对微小目标区域的精确定位能力。 该框架在 RoboCasa-DC 基准测试中表现最佳,并在 Franka Panda 机械臂真人演示实验中,将真实世界平均成功率提升 9.5 个百分点。
World-Value-Action (WAV) 模型通过统一框架实现视觉-语言-行动(VLA)系统的隐式规划,在长时程任务中一致超越现有最佳方法。 该模型学习未来轨迹的结构化潜在表示,由世界模型预测状态及价值函数评估效用,并将动作生成转化为潜在空间推理,以提升长时程决策效率。 WAV 模型在仿真与真实实验中显著提升了任务成功率、泛化能力及鲁棒性,代码已公开。
研究团队提出GenAN方法,通过直接学习关节位置轨迹致动模型,成功在四自由度PAMY2机器人上完成Sim-to-Real迁移。 该方法无需扭矩传感器,结合刚性体仿真实现复杂动力学建模。 这据称是首次实现此类肌肉驱动机械臂的仿真到现实策略部署。
Dex4D 提出任务无关的 3D 点轨迹条件策略,实现灵巧操作的零样本部署。 该方法在仿真中训练“任意姿态到任意姿态”策略,测试时通过生成视频的物体中心点轨迹提示进行重组。 实验显示其对新对象、场景布局和轨迹具有强泛化能力,性能优于先前基准。
DAP 模型提出结合动作生成与动力学模型,在四个仿真任务和三个真实任务中取得最高平均成功率。 相较于最强基线,DAP 在仿真和真实环境中的相对提升分别为 56.5% 和 33.3%。 当未来观测在推理时受损时,DAP 能通过迭代细化恢复自洽的动作-未来对,而视频条件基线会退化或失败。
提出 V-JEPA Policy 框架,利用冻结的 V-JEPA 2.1 编码器潜空间构建世界-动作模型,实现 0.9B 总参数下在 LIBERO 等基准上具有竞争力的表现。 该框架单次阶段联合训练未来潜变量预测器与 flow-matching 动作专家,0.6B 参数可训练。 实验表明,在分布偏移场景下,V-JEPA 潜空间优于判别式及重建式视觉基础模型。
该研究利用贝叶斯深度学习改进动态模型校准,并执行模型主动学习以提高数据效率。该方法使用信息增益作为探索奖励,在CoppeliaSim仿真中匹配相关替代方案的模型质量,同时大幅降低了实际机器人执行需求。
RoboCousin 发布了一个可扩展的基于模拟的数据生成平台,旨在将用户提供的观察结果转化为可重用的双手操作资产和专家轨迹。 该平台基于 RoboTwin 2.0 构建,可将物体图像转换为包含视觉和碰撞几何、语义与物理元数据的模拟就绪资产。 发布了 RoboCousin-OBD 数据集,包含 3,000 多个标注物体实例和 50 个背景环境,并生成了 50 个任务中超过 100 万条专家轨迹。