DiMuRe:用于机器人任务执行的诊断引导多级恢复框架
针对执行中干扰问题,诊断引导多级恢复框架 DiMuRe 结合本地验证与终端重规划,在 801 个 Encore 测试案例中取得显著性能提升。 Local DiMuRe 完整任务成功率达 77.65%,较原始程序的 58.68% 明显优化,且物理步骤更少;Full DiMuRe 成功率进一步升至 81.90%。
针对执行中干扰问题,诊断引导多级恢复框架 DiMuRe 结合本地验证与终端重规划,在 801 个 Encore 测试案例中取得显著性能提升。 Local DiMuRe 完整任务成功率达 77.65%,较原始程序的 58.68% 明显优化,且物理步骤更少;Full DiMuRe 成功率进一步升至 81.90%。
该因果推理框架通过仅更新参数实现仿真到真实环境的快速迁移,在复杂人机共享场景中导航表现显著优于非因果基线。 系统保留不变的高层因果结构,使用有限新观测值高效适应现实情况,并能在移动机器人机载环境下高效运行。 论文已被IEEE Robotics and Automation Letters(RA-L)接收。
RoboScope Kit 通过统一 Policy 和 Adapter 接口,实现具身智能体的高效并行评测。 单 GPU 运行 LIBERO-Long 时,其吞吐量比 StarVLA 快 4.45 倍;启用 CUDA MPS 后,比 RLinf 快 3.85 倍。 工具在 4 块 GPU 上将 RoboTwin Easy 评测时间压缩至 14.4 分钟,保持成功率不变。
AIRoA-0 是一双臂操作系统,完全基于 16,151 小时手持演示数据训练,未采集任何机器人数据。在 10 项任务中平均成功率达 78%,优于最强对标模型 27% 的表现。 系统支持跨具身应用,兼容 Franka、TX-G2 等机器人。团队已开源数据集、预训练权重及微调方法,在 8 块 H200 GPU 上微调耗时不到 4 小时。
HTCE 框架通过拓扑正则化无损压缩导航经验索引,将 17.7%–23.6% 的独立路由描述合并,同时保留完整任务性能。 该模型利用冻结视觉语言策略进行指导,在 HM3D v0.1、v0.2 及 MP3D 数据集上取得最佳 SR 和 SPL,SR 提升最高 4.9 点。
预训练视觉-语言-动作(VLA)策略向目标机器人迁移常需昂贵的本体特定演示,而人类演示因本体差异难以直接利用。H2RB(Human-To-Robot Bridge)提出了一种人-机协同训练框架,通过几何锚定对齐与解耦解码器tokenizer在几何表示和动作潜空间两个层面桥接人类与机器人演示,使人类演示在保留预训练VLA先验的同时提供行为监督。
该综述将机器人学习与科学 AI 的接口统一为具身 AI 问题,涵盖 28 个工作流。 文章提出“记录、诊断、校准、确认”证据循环,并基于三种闭合构建了分类体系。
研究团队发布 AceAction 数据集,涵盖多人 3D 游戏的真实人类游戏操作,支持技能组合与子目标过渡学习。 数据通过视觉 - 语言模型管线构建,标注导航、侦察、战斗、交互与恢复等任务,500 条轨迹抽检 95.8% 通过独立审查。 为在动态游戏环境中执行复杂指令的智能体提供数据基础。
针对视觉-语言-动作模型(VLA)中动作头对VLM高方差维度敏感度集中的问题,提出无参数机制AdaIE。 该机制根据下游敏感度动态重加权预训练表征,在RoboCasa-GR1基准上提升成功率5.28个百分点,在5项真实操作任务中平均提升19个百分点。 研究还表明该方法能推广至扩散策略和世界模型,提升了下游任务性能。
研究提出“环境背景幻觉”现象,发布基于 AI2-THOR 的 VagueBench 基准,包含 1,303 个指令对,用于测试具身智能体在缺乏辅助上下文时的表现。 对 6 个 SOTA 具身智能体评测显示,任务成功率相对下降 19.65%,空计划率上升 54.10%,表明其依赖语言信号而非核心语义。 该现象在真实机器人系统中依然存在,可能导致错误决策和潜在安全风险。
ChatGPT 和 Codex 正帮助工程师为物理世界构建产品。 我们分享了在机械设计、电气工程和仿真方面的进展——从帮助我们的硬件团队更快地迭代,到与行业合作伙伴测试新的工作流。
提出Teach-Abstract-Apply (TAA) 框架,允许操作员用自然语言向协作机器人教授新工作流,并将其抽象为可复用的技能。 在结构搭建案例中,使用开源Qwen3-Coder和闭源GPT5.2-Codex模型评估,证明技能抽象提高了任务成功率并降低了交互成本。
DAMI 框架通过整合元学习构建共享技能空间,使机器人智能体能够快速适应未见的新任务。 该框架引入 VMT 模块捕捉时空动态,使用 U2T 块融合多模态观测,并集成 TCFM 机制调节低层 3D 特征,从随机完整参考演示中学习任务逻辑。 实验表明,DAMI 在已知任务的直接推理和未见任务的少样本微调中性能优于最先进基线。
论文提出 OmniGuide 框架,通过 3D 基础模型、语义推理 VLM 及人类姿态模型作为可微分能量函数引导,显著提升视觉-语言-动作(VLA)模型在复杂任务中的性能。 该框架将不同引导源表达为 3D 空间中的吸引子与排斥子,影响 VLA 动作采样。实验显示,OmniGuide 在仿真与真实环境中显著增强了 π₀.₅、GR00T N1.6 等策略的成功率与安全性,性能匹敌或超越专用引导方法。
EPO 通过选择最低能量策略-目标对,在动态任务中提升机器人行为精度与鲁棒性。 该方法为各策略学习复合能量模型,运行时依据能量分数选择性切换策略。 无需重新训练现有策略即可集成新策略,并已在真实人形机器人上验证。
DARE 框架利用回溯校正增强扰动感知检索中的长期动力学预测,通过对象级消息传递预测动作条件扰动传播。 引入学习型校正器,当稀疏观测可用时,利用预测差异修正早期状态并重跑动力学,将校正沿接触链传播。
无训练执行层 Path-preserving Time Scaling (PTS) 在冻结 VLA 模型上提升任务吞吐量,LIBERO 基准中 pi0.5 提升 33%,SmolVLA 提升 104%。 PTS 通过路径层和时间层重参数化运动,在匹配或提升成功率的同时超越零延迟 1x 执行,异步基线上再增 28%-38%。
研究提出紧凑型模型 pico-WAM,旨在定位控制失败是源于动作生成还是轨迹评分瓶颈。基于 206 个 Push-T 演示和 15 个训练种子,实验显示反事实分支训练将策略重启搜索覆盖优势扩大 4.8 个百分点;使用模拟器成本替代学习轨迹评分使覆盖率提升 12.2 点,且优于纯模仿。 该模型通过受控干预明确评分为有效改进目标,并提供了诊断紧凑型世界模型的可复现协议。
论文提出名为 Roz 的评估框架,指出当前世界模型虽在机器人规划中表现优异,但往往忽略了物体的质量、变形、摩擦和弹跳等关键物理细节。该评估包含 10 个对比任务和 3 个连续任务,共 1734 个场景,仅依赖静止帧、潜空间提取和距离函数即可运行。作者认为当前模型失败源于不透明且高算力的评估策略,Roz 旨在为未来基准测试提供可快速迭代的案例。
研究人员通过冻结 OpenVLA-OFT 7B 策略,利用 8 至 384 个可训练参数的 TinyLoRA 适配器,实现了视觉-语言-动作模型的行为引导。在仅 256 个可训练参数下,训练任务中物体携带高度提升 120 mm 且成功率为 92%,留出任务提升 74 mm 且成功率为 80%。
研究指出传统验证损失和平均任务成功率无法全面评估机器人策略,引入闭环 pass@k 指标揭示预训练中的覆盖-可靠性权衡。 大 k 值 pass@k 在 pass@1 相似时仍能区分不同后训练表现,且其在训练过程中的峰值点随检查点变化。 提出离线检查点选择准则和生成式数据增强方法,在保持或提升 pass@1 的同时扩展监督范围,提升覆盖-可靠性帕累托前沿。
研究提出 Spotter 框架,具身模型主导连续执行,VLM 并行监测,仅在检测到错误时介入反思并纠正,随后归还控制权。 实验使用 Qwen 和 GPT 作为 VLM,GPT 配置下 Cosmos Policy 和 π0.5 在 RoboCasa 分别提升 5.6 和 7.5 个百分点,π0.5 在 RoboTwin 2.0 困难设置从 47.2% 升至 57.0%。
研究者提出一种两阶段学习框架,用于解决食物准备等隐式成功标准的机器人操作任务。 通过模仿学习获取初始策略,再利用结合定量指标与人类反馈的奖励模型进行偏好微调。仅使用50至200条轨迹,即在黄瓜、苹果和土豆上实现100%成功,微调后性能提升高达40%。 策略可从一类农产品零样本迁移至其他类别,在对选定的保留类别上达到50%至90%的成功率。
研究提出 MAESTRO,利用视觉语言模型作为编码智能体编排感知、规划和控制工具,实现零样本机器人任务。该系统通过“计划-行动-重新规划”循环,在桌面和移动操作任务中匹配或超越最先进的 VLA 模型。研究证明扩展工具库及其编排框架是通往通用机器人的互补路径。
该研究提出多尺度注意力机制(MSAM),通过三条不同核大小(1-11)的并行1D卷积自适应聚合特征,并集成至UNet跳跃连接以增强高光谱特征提取。 在多个城市驾驶高光谱数据集上,MSAM基线模型平均mIoU提升2.32%,mF1提升2.88%,且核组合(1;5;11)与(3;7;11)表现尤为突出。 该实证研究推动了高光谱处理在自动驾驶中的应用理解,并为车载自适应多尺度特征提取奠定了基础。
Pixel 是一个协同设计的全栈机器人系统,用于学习通用移动操作。 该系统结合低成本轮式人形机器人、人体对齐运动学、合顺夹具、多种遥操作及无机器人数据收集接口、统一全身控制器和通用策略学习管线。 其分层学习栈支持语言条件视觉运动控制和长时程任务执行,旨在提供研究机器人硬件、数据、控制与学习协同设计的可扩展基础。
Pixel-UMI 流水线利用传感器化人类演示学习机器人全身操作策略,在5类挑战性任务中实现87.0%平均任务进度。 核心方法包括结合场景几何与轨迹生成避障目标的EAR技术,及利用重定位误差提升部署鲁棒性的REAM技术。通过DAgger收集人类校正策略以优化接触丰富交互。
D&A 方法解耦场景动态描述与基于明确标准的评估,解决 VLM 在机器人任务进度估计中的确认偏差。该方法纯基于提示,跨任务泛化能力匹配或超越后训练奖励模型。其提供的细粒度部分进度指标可有效支持下游强化学习。
CUE 是一个智能体系统,通过自主与环境交互解决 Real2Sim2Real 中的“动力学差距”,无需重置即可识别物理参数。 在模拟台球场景中,CUE 在 25 种隐藏物理条件下使留出球位误差较最强基线降低 72%,并已在真实台球桌上部署。
这篇综述指出机器人策略在常规操作中的失败源于设计缺陷,尽管预训练了超过百万条轨迹,但表现不如仅靠单一身体学习几年的儿童。 文章借鉴神经系统机制提出改进设计:从身体借鉴柔顺性以同步控制刚度与位置;从视觉系统借鉴快视觉路径以驱动反应式策略;从小脑借鉴预测器以校准误差;从运动皮层借鉴单一模型以组合动作原语。 这些设计旨在构建能自主行动的机器人,为部署和递归自我改进奠定基础,并作为待验证的假设。
研究团队发布 RoboColosseum 分布式评测框架,覆盖 124 个地点,完成 5,699 组开放式对比试验。 框架评估 5 种 VLA 策略和 3 种前沿 AI 智能体在 4 类机器人上的表现;微调后 GR00T N1.7 在 SO-101 上领先。 评测揭示了机器人在开放任务中的泛化瓶颈及微调效果差异。
LLM 编码智能体通过自主研究将通用多机器人规划器专精化至单一仓库场景,吞吐量提升 22% 至 60%。 智能体重新发现了走廊出口优先级、局部引导等已知 MAPF 机制,生成的 0.7k 至 2.4k 行代码补丁具有可审查性。 该方法能以较低工程成本将场地偏见转化为额外吞吐量,专家角色转向设计洞察性指标和快速模拟器。
针对具身智能体回答问题时的场景图记忆机制,研究提出图交换测试以诊断模型是否真正依赖图结构。 在包含两至七间房间路径的问答基准中,文本形式记忆比无记忆提升30分,而图编码形式表现不佳;将每个节点分配独立输入token可额外提升8.3分,且通过交换测试验证增益源自图结构。
该研究将传统二元碰撞分类器替换为神经控制障碍函数(CBF),解决了梯度饱和导致的优化停滞问题。 在 7-DoF Franka Panda 机械臂测试中,固定障碍任务成功率达 75.6%,优于分类器 12.0 个百分点;衰减率 α 在 [0.10, 0.20] 区间效果最佳。
SCOUT框架通过物体中心场景表示重建隐藏几何结构,利用LLM生成动作候选并经MCTS评估以解决遮挡规划难题。 实验表明该框架在长期任务中显著优于VLA策略和3D世界模型,并已在杂乱货架环境完成真实机器人操作验证。
研究提出 JADE 联合去噪框架,让预训练视觉语言模型(VLM)与扩散动作专家在机器人动作生成中协同去噪,而非仅作为静态条件输入。 在 RoboDojo 基准上,JADE 基于 $\pi_{0.5}$ 方法取得 12.67% 的平均成功率,为评估中同类方法最高;相比 $\pi_{0.5}$,在四项真实双臂任务上的平均成功率提升 20.8 个百分点。
针对机器人基础模型故障排查,文章指出机制可解释性(MI)识别概念编码不足以确定具体事故的实际原因,存在“概念-故障差距”。 文章将故障隔离形式化为实际因果框架中的查询元组,指出当前 MI 方法因假设固定偶然性和仅读取即时效应,可能因备份机制掩盖实际原因导致判决冲突。 基于良定义条件,文章概述了四个旨在弥合该差距的开放研究任务。
论文提出一种后处理修复模块,利用 VLA 预测的短视域动作检测障碍物并生成导航路径,通过软引导项改善 CBF-QP 安全性过滤。 该方法将路径引导加入 CBF-QP 目标函数,保持安全约束严格有效,从而修正被局部截断的任务轨迹。 在 SafeLIBERO 基准测试中,该方法在碰撞规避、任务成功率及安全成功率方面均优于 AEGIS。
小米发布 Auto World Model 2.0,这是一个统一的流式因果世界模型,用于 Physical AI 中的因果物理演化建模与生成。
Leap-VLA 将视觉锚点与控制解耦,实现 20-50 Hz 机器人控制。 低频 VLM 缓存语义,高频 flow-matching 专家结合低延迟视觉流;LIBERO 平均成功率 95.2%,较基线差距在 1.6 个百分点内。