HIDRA:面向无重放终身模仿学习的层级双路由注意力
HIDRA 提出层级双注意力机制,结合键级几何正则化,在无重放、单次遍历的终身模仿学习设置中稳定专家选择。该方法在 LIBERO 基准测试中 consistently 优于无重放和基于重放的基线模型,提升了 AUC 和正向迁移,同时保持低遗忘率。HIDRA 支持可扩展的专家集合,适用于实时适应持续多模态演示的机器人场景。
HIDRA 提出层级双注意力机制,结合键级几何正则化,在无重放、单次遍历的终身模仿学习设置中稳定专家选择。该方法在 LIBERO 基准测试中 consistently 优于无重放和基于重放的基线模型,提升了 AUC 和正向迁移,同时保持低遗忘率。HIDRA 支持可扩展的专家集合,适用于实时适应持续多模态演示的机器人场景。
Rollback 提出一种新范式,将世界模型转化为反事实引擎,通过回溯关键决策点并分支探索替代行动,归因成功结果。 在分布式搜索与异步真机执行中,世界模型侧通过轻量 LoRA 管道利用真实数据校正动力学。 在三个真实任务中,Rollback 比最强基线分别提升成功率 10.67%、11.11% 和 11.85%,训练 8 小时内超越人类平均水平。
提出基于多模态大模型(MLLM)的 Task-Utility IQA 框架,通过具身任务效用重新定义图像质量评估,支持决策导向的可解释视觉感知。 在 VisDrone 实证研究中,传统感知指标与通用 MLLM 质量评分对下游视觉语言模型(VLM)任务成功的预测能力较弱,而任务条件效用评分能更准确预测视觉输入是否支持目标任务。
提出可靠性感知框架解决稀疏事件关键点误差问题。 三分支表征结合正负事件与最近事件时序,通过跨分支注意力和时空聚合提升定位精度。 在SPADES官方测试集上,系统综合姿态得分为0.0474,较PASAN+IRIS低5.4%。
The Trinity 提出了一种结合世界生成与 Harness 演化的递归自我改进框架,通过 Creator、Explorer 和 Evolver 三个角色实现多模态智能体的能力提升。
百度计划近日披露世界模型研发进展,该模型核心为物理环境建模与预测。 若用于自动驾驶,可提升复杂场景下的预测与决策能力,为无人车规模化落地提供支撑。 百度旗下萝卜快跑已覆盖全球28座城市并积累真实道路数据,具体用途尚无明确消息。
SMAT 方法联合训练人体动作器与外骨骼控制策略,实现了无需个体特定重训练的策略迁移。 在八名健康成人中,主动辅助使净代谢率较被动装置降低 19.7%,髋关节正功率比达 0.984。 该框架有效减轻了人在环控制器开发的实验负担。
论文提出MRO-GWM模型,利用对象中心高斯表示任意物体形状,通过时空Transformer架构预测刚体运动。 模型在包含多物体交互的合成交互数据集上分析预测性能,并应用于非抓握操控控制及图像追踪。
研究提出了一种无中心规划器、依赖局部邻居交换轨迹的分布式预测性聚集控制器,旨在解决高密度集群中碰撞避免受限的核心问题。 控制器基于非线性模型预测控制(NMPC),在开源振动驱动机器人数字孪生上对比了六种安全约束策略,其中前瞻离散时间控制屏障函数(CBF)表现最优,能最小化碰撞并保持最大的机器人间距。
Dream2Assist 提出了基于强化学习的框架,通过意图推断增强协同车辆控制。 框架基于递归状态空间世界模型,利用虚构共玩策略支持离散人类目标。在三个人类研究(N=30和N=10)中,意图条件化显著改善了扭矩对齐和碰撞率。 该技术为安全关键的实时人机协作系统提供了部署流水线与设计实践参考。
轻量级双向状态空间模型 TrajMamba 实现了基于 RGB-D 相机的实时行人短程轨迹预测,在 ETH/UCY 基准上达到 0.29m ADE 和 0.51m FDE。 模型仅含 262K 参数,通过堆叠 Mamba 块编码髋部中心速度,采用 GRU 头解码,在 TIAGo 机器人搭载的 NVIDIA Jetson Orin 上实现实时运行。
RoboJev-27B 作为开源权重模型,在 SO-101 机器人 268 个留出回合上取得 95.2% 平衡准确率,支持任务指令与多帧视频输入以预测操作成功。 模型基于 JEV-27B-VL 仅微调语言模型(冻结视觉编码器),单条推理耗时 0.26 秒;在未知实验室数据上泛化 AUROC 达 0.890。 发布附带推理代码与 20,628 条预测记录,便于复现与 benchmark 评估。
针对现有离线到在线安全强化学习未显式考量已消耗安全预算导致探索受限的问题,研究团队提出 RBGA 算法。该算法通过跟踪剩余回合安全预算,自适应地在离线引导与在线策略间进行逐步行动仲裁,并提供了安全性理论分析。
VLN on the Fly 在无人机上运行视觉-语言导航,15次试验中13次成功,平均目标误差5.72 cm,GPU利用率39.3%。 该系统分离定位、规划与控制模块,使用量化VLM进行定位,B样条规划器生成轨迹,强化学习策略执行电机控制,可在受控室内及杂乱环境中避开碰撞。
EEG-VID 框架在 42 组对比中 41 组提升平均准确率,最大增益达 16.22 个百分点。 在 VIG-48 的 48 区域跨天任务中,该模型 Top-1 准确率为 6.52%,Top-5 准确率为 30.50%。 结果显示任务引导潜空间预测可作为可迁移的预训练策略,辅助目标选择准确率达 40.24%。
针对冻结视觉-语言-动作(VLA)策略,单一回顾性句子在 LIBERO-90 等场景中可修复“执行错位”模式故障。 LLM 将句子转化为动作偏差,使 OpenVLA-OFT 在分布内恢复 65/139 项失败,xArm7 实机抓取成功率从 10/30 提升至 30/30。 验证了人类对量级与时机的校准价值高于语言本身,该方案无需微调即可提升固定策略鲁棒性。
研究利用仿真中基于采样的模型预测控制(SMPC)自动生成海量离线数据,解决探索难题,并仅使用稀疏任务奖励训练离线策略强化学习智能体,大幅降低新技能学习时间。 结合低级动态稳定性控制器后,策略优于原最优控制教师,并在配备机械臂的四足机器人 Spot 和人形机器人 G1 上验证了 sim-to-real 框架的鲁棒性。
研究团队提出潜在世界动作模型(LaWAM),利用紧凑的潜在视觉子目标预测场景演化,替代高成本的像素级视频生成。 该模型在 LIBERO 基准测试中取得 98.6% 成功率,在 RoboTwin 中达到 91.22%。LaWAM 单次动作块预测延迟仅为 187 毫秒,比像素空间 WAM 降低最高 24 倍。 该工作已被 CoRL 2026 会议接收。
PRISM 利用冻结的世界模型编码器特征,训练轻量级动作头以学习目标条件动作先验。 该方法通过先验均值和预测不确定性引导动作搜索,并已在 4 个模拟控制任务和 2 个真实机器人平台上验证其提升规划性能。
Crazyflow 是支持基于模型与数据驱动方法的开源无人机仿真器,基于 JAX 结合高保真动力学实现加速与可微分。 支持单 GPU 运行数百万环境,实机实验实现 0.37 秒从零训练恢复策略,并支持在线飞行强化学习。
StableHand 提出了一种质量感知的流匹配框架,用于从第一人称视频中估计世界坐标系下的双手 4D 运动。该模型通过分解腕部平移和手指关节角度为四个质量通道,利用 AdaLN 调制 DiT 去噪器以处理遮挡。在 HOT3D 和 ARCTIC 基准上,该方法将 W-MPJPE 降低了 20-25%,被 NeurIPS 2026 接收。
AffordSim 是一个集成开放词汇 3D 可供性预测的规模化数据生成器与基准,旨在解决机器人操作依赖接触点语义且现有方法泛化性差的问题。 它通过自然语言生成场景、预测可供性并采样区域条件化抓取,随机化物体位姿与光照以支持 sim-to-real 迁移;在 50 项任务、5 种机器人构型及 500 余个物体上构建基准。
提出 AutoWorld 交通仿真框架,通过自监督世界模型将智能体行为直接锚定于 LiDAR 占用等原始传感器观测。 框架采用由粗到细的预测性场景上下文,结合运动感知的隐空间监督与级联 Determinantal Point Process 采样。在 nuPlan 和 Waymo 实验中,该模型将碰撞率降低 36%。
RoboGene 提出了一种由多样性驱动的 Agentic 框架,用于生成单臂、双臂及移动机器人的多样化操作任务。 该框架结合多样性采样、智能体自我反思及人工验证反馈,构建了 18k 条轨迹数据集。使用 RoboGene 生成的数据进行训练后,VLA 模型在成功率与泛化性上显著优于 GPT-4o 和 Gemini 2.5 Pro。
FlowHOI 提出一种两阶段流匹配框架,用于生成语义连贯的手物交互(HOI)序列。 该框架通过解耦几何抓取与语义操作,在 GRAB 和 HOT3D 基准上实现了 40 倍推理加速,且物理模拟成功率比最强扩散基线高 1.7 倍。 该成果已被 NeurIPS 2026 接收,并展示了将生成的 HOI 表示重定向至真实灵巧机器人执行管线的可行性。
CRAFT-E 是一个模块化的神经符号框架,通过组合 LLM 知识图谱、CLIP 视觉对齐和基于能量的抓取推理,实现支持物性主动物体检索,无需重新训练即可进行图编辑。
JRDB-AVR 提出基于真实机器人数据的主动视觉推理基准,评估具身智能体在受限视野下的证据获取与回答准确性。基准包含时间搜索、视角选择等任务,参考方法 JRDB-AVR-Agent 采用基于图的显式世界模型,代码已开源。实验显示当前 VLM 存在答案正确但缺乏视觉证据支撑的缺口,强调主动评估在具身推理中的必要性。
CLWM 通过反事实对比目标解决预训练编码器导致的“反事实坍缩”,使模型能区分视觉相似但行为后果不同的干预。 在遮挡操作和混淆导航任务中,规划成功率分别提升至 74.6% 和 78.9%,延迟厨房场景的失败率降低至 9.7%。 该方法建立的表征无关指标可审计任意编码器,为具身智能体的动作规划提供了可靠保障。
FLORE 框架通过力反应式扩散策略,在三类接触密集型任务中取得 80% 成功率,远高于仅位置策略的 26.7%。 策略结合视觉、本体感觉和腕力输入,混合顺应全身控制器通过积分控制实现高精度力跟踪。
GPT-6-Astra 作为核心代理在 EBench 基准上控制机器人,对比了直接控制与调用后训练策略两种配置。在直接控制模式下,该模型在短程任务上表现领先且泛化方差最小,但在长程任务及高精度接触操作上弱于后训练策略。
研究人员提出ZAP策略,通过模拟任务教学使小型预训练视觉语言模型控制机器人,在真实任务中取得96.7%的成功率。 ZAP利用27B参数模型引导世界理解与推理,性能匹配GPT-6 Astra但速度快3倍、成本仅1/17,并泛化至未见的机器人本体与物体。
TrySee 提出一种集成通用 VLM 推理与特定领域感知的模块化闭环机器人任务规划管线。 该系统通过动态预处理选择机制实现可扩展性,无需 VLM 微调或端到端演示。 论文在包括真实机器人拆解任务在内的 5 个不同领域进行了验证。
提出利用LLM和VLM实现开放环境自主机器人与人类目的对齐的多模态框架。 该框架分为语义对齐、任务生成和驱力建模三层,通过双向交互循环将自然语言人类目的转化为机器人任务与驱力。 仿真与实体机器人实验验证了其生成有效任务与行为的能力,支持交互式场景下的有效人机对齐。
基准测试 VLA-HWBench 显示,VLA 模型动作生成策略对推理延迟的影响远大于模型参数量。 在 18 个开源 VLA 模型测试中,Jetson 平台上延迟差异达 82 倍,而参数量仅解释 15% 的方差。
针对家庭机器人导航,新基准 OSMA-Bench 和语义敏感性指数 SSI 评估了视觉语言模型(VLM)与视觉语言行动(VLA)策略。测试发现,两类策略均无法将障碍物的语义安全差异转化为连续的运动参数,即便使用显式安全提示。
研究发现,优化时序可预测性的隐空间几何,能在不牺牲像素预测精度的同时提升生成式 Video World Models 性能。 该方法使推理成本降低 5 倍,训练速度提升 7 倍以上,长时程和分布外像素误差降低 15-24%。 使用视觉语言模型评估时,其像素空间预测与真实世界策略评估的一致性更高。
研究团队推出 RobotAgentBench (RAB),专用于评估开放世界家庭环境中的机器人智能体自主能力。 该基准包含 50 种家庭布局,涵盖 90 项原子任务、18 项短程任务、8 项长程任务及 4 个开放式场景。 RAB 支持在统一框架下对比 VLA/WAM 模型与智能体架构,揭示了操纵能力与自主性之间的显著差距。
提出无需训练的推理加速框架 TRIAGE,在保持任务成功率的同时显著降低预填充延迟。 通过令牌级诊断发现,缓存复用与剪枝策略的有效性取决于令牌漂移值;复用高漂移令牌会导致最高 4.4 倍的动作误差,而 TRIAGE 据此动态分配固定重算预算。
针对人形机器人在真实部署中因物理扰动或仿真建模误差导致的训-部署鸿沟,研究提出在线微调框架 HumanoidNDM。 该框架利用在 Unitree G1 机器人上验证的低频参考扰动方法采集数据,训练基于本体感觉的神经动力学模型,并通过反传模型梯度直接微调策略。 这是首个无需动作捕捉系统、支持人形跟踪策略在线微调的框架,能实现对各种扰动的快速实适应。
RoboReason 提出基于双目和手腕相机图像的空间时序排序任务,以评估视觉语言模型(VLM)在机器人下游任务中的推理能力。 实验表明当前 SOTA VLM 在排序任务上表现不佳;采用自主数据生成管线,结合监督微调(SFT)与强化学习(RL),可显著提升模型在时空排序及机器人下游任务中的推理性能。 该方法有助于克服真实世界评估成本高的难题,推动 VLM 在机器人操作管线中的实际应用。