TERRA:面向火星漫游车高效适应性的定向探索框架
TERRA 框架通过奖励加权预测损失引导 MPC 探索,在模拟器中于严重分布外条件下 5 次尝试内达到 90% 爬坡成功率。该框架在 ERNEST 漫游车上 3 至 5 次真实尝试内恢复活跃悬挂协调运动,在奖励、完成时间和能耗上优于探索基线。
TERRA 框架通过奖励加权预测损失引导 MPC 探索,在模拟器中于严重分布外条件下 5 次尝试内达到 90% 爬坡成功率。该框架在 ERNEST 漫游车上 3 至 5 次真实尝试内恢复活跃悬挂协调运动,在奖励、完成时间和能耗上优于探索基线。
summary_zh: 研究团队发布 SpaceAct 基准,通过闭环物理行动评估多模态大语言模型在 3D 空间中的时空推理能力。该基准包含 108 个验证实例和 36 个任务族,去除了特权坐标。
该研究提出结合任务、时间与空间记忆的时空架构,用于 8B 级模型的零样本视觉语言导航。 在 R2R-CE val-unseen 基准中,该系统优于 Qwen3 基线,且移除时间记忆会使平均路径长度从 16.9m 激增至 39.1m。 在 Unitree Go2 机器人实验及 LAW2 评估中,该方法展现了比后训练基线更高的成功率与更好的指令遵循能力。
在基于 OpenStreetMap 的多机器人探索任务中,信息感知扩展 EARS-Info 在 16.8 万个 episode 的评估中取得了最高的平均操作分数。
人形机器人控制器Metatron提出了一种结合生成式基础策略与可编程技能层的全身执行方案。该方案将运动捕捉数据、合成恢复轨迹及重定向场景交互动作相结合进行训练,训练后策略即被冻结。
$\pi_{0.5}$ 模型在 BEHAVIOR-1K 基准上完成所有 100 项任务的配对评估,结果显示先前提出的推理与数据采集策略无法均匀泛化至新环境。 该评估基于 2025 年 BEHAVIOR 挑战赛获胜者微调的模型,其在公开测试集上取得 0.39 的 Q 分数。
Echo 是一种单阶段离策略强化学习框架,通过逆蒸馏让状态策略模仿视觉策略以收集低成本经验。 该方法结合 FastTD3 在 Genesis 中测试,相比 SDPG,在三类运动任务上平均将达到参考回报的时间减少 60%,峰值平均回报提高 62%。 离策略经验扩展被证实是提升直接视觉强化学习效率的有效途径。
OrbitalGym 仿真环境揭示了对抗轨道游戏中,算法规划与系统能力对最终结果的影响边界。 实验表明,在追逐-逃离游戏中推进剂比(Propellant Ratio)占主导;而在女士-强盗-守卫游戏中,优化守卫策略(Guard Policy)在90种配置中能使防御概率提升至少10%。
ProACT 提出了一种表现驱动的 VR 消防员自适应训练系统。 该系统通过全局模块实时调节场景火灾蔓延,并通过局部模块周期性更新物体可燃性,以闭环方式动态匹配训练难度。 实验表明,ProACT 在客观训练表现和主观用户体验上均优于现有自适应与非自适应基线模型。
提出 AtomTree 分层框架,用于状态感知的具身任务规划。该框架通过 LLM 逐步构建树状子目标,并结合轻量级记忆模块重用历史结果。 当低层动作停滞时,系统触发分层回溯重规划以避免错误轨迹漂移。 在 ALFRED 基准的零样本评测中,AtomTree 表现优于现有的 LLM 规划器。
蚂蚁开源和 inclusionAI 将于 11 月 2 日至 5 日在 2026 世界互联网大会乌镇峰会参展并演讲,聚焦 Agentic AI 与机器人通用大脑。 蚂蚁 2000 余个代码仓库开源,LingBot 系列获 3 万+ GitHub Star,OceanBase 开源集群部署超 20 万套。 通过全栈开源降低行业门槛,加速具身智能与 AI 基础设施的规模化落地。
基于视觉触觉传感器(VBTS)的主动采样策略可实现 90% 的硬度分类准确率,优于 48% 的人类准确率。 研究采用方差和熵作为模型不确定性度量,在自采和公开数据集上对比了三种概率分类器、两种主动采样策略及随机采样基线。 该工作已被 IEEE-RAS Humanoids 2026 会议接收,验证了 VBTS 用于硬度分类的有效性。
MARL-Exo 框架利用多智能体强化学习共适应人体与髋部外骨骼,在八名健康受试者中无需针对个人调优即降低行走代谢成本。 模拟中纯代谢策略使模型肌肉代谢功率降低 13.8%,硬件测试中净代谢率较被动组降低 18.3%,其中 6 名受试者代谢成本降低幅度最高达 24.2%。 该方法生成单一群体级控制器,允许在人类测试前于模拟中筛选辅助目标。
PDRVLA 提出轻量级物理动力学模块,直接从视觉-语言特征提取物理 token 条件化动作生成,避免在线视频生成带来的高延迟。 该模块通过直接预测未来 RGB、深度和光流特征学习,并采用冻结预训练视频世界模型辅助监督;训练使用公开数据及人形到机器人合成等技术。 在 LIBERO 等四个仿真基准上成功率最高达 99.3%,消融实验验证了世界模型监督对未来预测及动作成功的提升作用。
研究通过去噪反事实协议测得 Best-of-N 在四个世界动作模型中的可选择上限,发现标准估计会高估收益,其真实占比介于 24% 至 66% 之间。 利用共同随机数验证发现,结构化动作扰动可创造 16 个点的额外自由度,且 Cosmos Policy 中基于想象的执行结果无检测损失。 这种基于失败门控的选择器将闭环任务成功率从 76.9% 提升至 81.6%,在未知任务上也显著提高了表现。
该学习框架将生物曲线转化为软体模块化机器人构型,设计时间从199万毫秒降至4.18毫秒。 前向代理预测时间从15.3万毫秒缩短至0.0008毫秒,在5000个未见过的测试样本中实现93%的形状重构成功率。
研究人员利用随机运动标记化方法,生成简洁运动表征以增强人形机器人全身控制灵活性。该方法在同等容量下,其运动重建效果优于 FSQ 和 VQ-VAE 等现有技术。实验表明,基于该离散接口的追踪策略在 Unitree G1 机器人上成功执行了长达 35 秒的打斗与舞蹈混合动作序列。 该研究已被 2026 年 IEEE 人形机器人会议接收,为解决复杂全身运动的控制问题提供了新方案。
CLAP-AD 是一种即插即用规划模块,通过无模仿学习的速度评分函数,实现端到端自动驾驶模型在测试时对速度的显式控制。 该方法在 Bench2Drive-Speed 上取得 82.53 的速度依从分数,超越最强基线 TFv6 12.9 分,同时在 NAVSIM v2 上将 EPDMS 提升 6.1。 已获 WACV 2027 接收。
研究提出基于 PPO 的弹簧腿四旋翼跳越控制策略,无需显式跳跃状态机。硬件测试显示,其循环平均电功率较 PID 降低 30.7%,平均总归一化推力降低 49.8%。 策略结合能量流形整形与效率整形,利用历史感知功率估计器惩罚空中功率及近静止状态,优化被动动力学利用。 该方案在保持可重复指令高度跳跃与更集中着陆的同时,显著降低了电气需求。
小米具身智能团队发布轻量级统一具身智能体 OmniBrain-0,通过共享高层决策模型协调操作与导航,在 LIBERO-Pro 等基准测试中表现出强跨领域性能。
研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。
研究人员提出 GTP-FA 框架,通过“先抓取后规划”两阶段设计学习失败归因模型,解决机器人操作中抓取与规划耦合导致的失败归因困难问题。 该模型在未知抓取泛化出失败模式稳定分布,指导抓取侧注入任务先验与风险惩罚、规划侧针对高风险初始状态微调。 框架在 RL、IL 及扩散策略等设置下显著提升任务成功率,已被 NeurIPS 2026 接收。
RePO-VLA 提出恢复驱动策略优化框架,将对抗性成功率从 20% 提升至平均 75%。 该方法包含恢复感知初始化、进度感知语义价值函数及价值条件细化,并在真实双手机器人任务中达到最高 80% 成功率。
AmaraSpatial-10K发布包含10,071个合成3D资产的数据集,经标准化处理支持直接摄取。 该数据集提供度量化.glb文件、凸碰撞包络及多模态元数据,并引入评估套件。 实验显示其CLIP Recall@5较Objaverse提升3.4倍,在Habitat-Sim静态测试中达成99.1%稳定性。
TS-DP 是首个将投机解码应用于扩散策略(DP)的框架,解决了 DP 在具身控制中因迭代去噪导致的高推理延迟问题。 该框架通过蒸馏基于 Transformer 的草稿模型替代高成本去噪调用,并利用基于强化学习的调度器动态调整参数以适应任务难度变化。 在模拟环境中实现 4.17 倍 NFE 降低和 3.2 倍加速,真机实验中推理频率达 26 Hz,传送带任务成功率提升 23%。
研究提出将世界建模转化为视觉问答问题,通过监督微调训练视觉语言模型预测任务相关的语义信息,而非重建未来像素。该方法在模拟机器人任务中验证,相比传统的基于重建的动作风条件世界模型范式取得了性能提升。
ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,通过将动作推理 grounded 于世界动态,并借助世界想象进行强化学习,以增强 Chain-of-Dynamics(CoD)。
研究人员提出约束参考策略(CRS),通过将末端执行器指令投影到物体关节轴,区分关节进展与约束外浪费,无需录制演示或学习评委。 在 74 个模拟铰接物体上,CRS 能识别出 3 起迁移失败案例,而二元成功率仅记录为较低比率。
ARC 模块通过强化学习在冻结策略上学习残差修正,将三项精准操作任务的平均成功率从 33.3% 提升至 75.0%。 利用稀疏人类反馈确定修正激活时机与探索区域,在七自由度空间中保留 96.0%-97.7% 的修正幅度。 无需将人类修正作为最终动作目标,即可实现局部约束下的自主后训练优化。
QCP 通过迭代后见重标记实现机器人策略在推理时动态控制速度、平滑度等质量属性。 在 Robomimic 和 RoboEval 实验中,QCP 逐轮提升任务执行质量与成功率,生成的成功轨迹质量超过初始演示。 在真实操作中,通过控制速度提高传送带吞吐量,控制搬运稳定性提升酒杯搬运成功率,证明其实用价值。
研究提出 Retrieve to Act (R2A) 测试时扩展框架,通过将分布外鲁棒性转化为几何运动基元检索问题,显著增强 VLA 策略执行稳定性。 R2A 利用查询依赖的图神经网络在离线时空运动基元图中定位执行状态,通过维度级门控机制将检索的运动先验与冻结 VLA 动作融合,无需微调。
TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token,复用预训练视频扩散 Transformer 构建机器人策略,推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度,采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上,单次 DDIM 步即可生成动作块,每动作块耗时 84 ms,显著降低推理成本并避免完整视频生成开销。
论文提出 TOPS 方法,在不修改网络架构前提下自适应调整流源先验与插值调度。 通过在 LIBERO、LIBERO-Plus 等基准测试中提升性能,TOPS 将 LIBERO-10 成功率从 53.44% 提升至 69.67%,并将推理时间缩短至基线的约六分之一。 真实世界实验中,TOPS 使上抽屉开启任务成功率从 20% 提升至 80%。
MoGAP 通过运动引导的非对称预测,将视觉监督集中在动态区域,显著提升机器人控制策略成功率。 该方法在 GR-1 桌面基准上将 Fast-WAM (Wan2.2-5B) 的成功率从 38.8% 提升至 47.5%,在 Cosmos3-Nano 上从 52.3% 提升至 62.3%,且无需外部教师或额外模态。
REACH 是一个基于 RL 的分层框架,能使 Unitree G1 人形机器人通过变身高度的双足行走和爬行穿过受限空间。 该框架通过 1.27-0.50m 双足和 0.50-0.20m 爬行的高度区间实现高度适应,利用历史条件潜表示处理接触密集动态,并集成 LiDAR 规划器实现可靠模式切换与路径规划。
RoboAuto框架通过显式组织对象、场景和交互层面的物理理解,实现了机器人程序的自主搜索。 该框架包含分层知识库、场景定位和带自设计实验的多阶段规划组件。在LIBERO-PRO短视域任务中成功率达89.1%,在长视域任务上性能超基线模型两倍以上。
HIDRA 提出层级双注意力机制,结合键级几何正则化,在无重放、单次遍历的终身模仿学习设置中稳定专家选择。该方法在 LIBERO 基准测试中 consistently 优于无重放和基于重放的基线模型,提升了 AUC 和正向迁移,同时保持低遗忘率。HIDRA 支持可扩展的专家集合,适用于实时适应持续多模态演示的机器人场景。
Rollback 提出一种新范式,将世界模型转化为反事实引擎,通过回溯关键决策点并分支探索替代行动,归因成功结果。 在分布式搜索与异步真机执行中,世界模型侧通过轻量 LoRA 管道利用真实数据校正动力学。 在三个真实任务中,Rollback 比最强基线分别提升成功率 10.67%、11.11% 和 11.85%,训练 8 小时内超越人类平均水平。
提出基于多模态大模型(MLLM)的 Task-Utility IQA 框架,通过具身任务效用重新定义图像质量评估,支持决策导向的可解释视觉感知。 在 VisDrone 实证研究中,传统感知指标与通用 MLLM 质量评分对下游视觉语言模型(VLM)任务成功的预测能力较弱,而任务条件效用评分能更准确预测视觉输入是否支持目标任务。
提出可靠性感知框架解决稀疏事件关键点误差问题。 三分支表征结合正负事件与最近事件时序,通过跨分支注意力和时空聚合提升定位精度。 在SPADES官方测试集上,系统综合姿态得分为0.0474,较PASAN+IRIS低5.4%。