AssemState:利用说明书与物理状态引导零样本家具组装推理
AssemState 提出零样本家具组装框架,通过锚点引导分解说明书操作并恢复组装树。在组装树恢复任务中,该框架将 F1 分数从 38.58% 提升至 62.80%,Tree Exact Match 从 28.24% 提升至 53.92%。
AssemState 提出零样本家具组装框架,通过锚点引导分解说明书操作并恢复组装树。在组装树恢复任务中,该框架将 F1 分数从 38.58% 提升至 62.80%,Tree Exact Match 从 28.24% 提升至 53.92%。
EMHO 提出一种冻结具身模型、仅通过迭代修订 agent harness 实现自我进化的框架,支持在稀疏环境反馈下直接提升系统性能。 该框架通过解析执行轨迹与历史 harness 数据,优化智能体的进度监控、视觉工具使用、观察接地及失败响应机制,并引入 EMHO-Merge 处理多子任务间的权衡。
研究团队提出 Sensor-Language-Action (SLA) 建模框架,并发布 OpenSLA 模型,旨在统一多模态传感器观测、自然语言与动作。 SLA 基准涵盖 116,000 多名个体、79 种传感器模态及 60 个动作组。OpenSLA 在临床预测等任务中表现优于最先进方法,并支持零样本泛化。
PIP 框架在 Burrito-PO、Overcooked-PO 及 Melting Pot 基准中取得最高平均性能。 该方法结合 Joint-view VAE 与伙伴状态信念网络,从本地观察中推断隐藏状态与行为倾向。 人类评估证实 PIP 支持在伙伴被遮挡时与未知伙伴有效协调。
具身智能体在长时程任务中因目标状态变化易失效,研究提出 Attacca 方法。该方法通过上下文解耦目标采样和密集当前视图定位,结合行为阶段条件控制解决目标丢失问题。在 Minecraft 评估中,Attacca 在长时程任务上完成率达 54%,较最强基线提升最高 7 倍。
GroundAct 将实体及其交互定义为自动驾驶推理的“扎根”单元,通过轻量参考 token 使实体连续状态在符号推理中可寻址。该方法在开环与闭环设置中评估,在正常、分布外及安全关键场景下展现强劲的开环规划能力。
该研究实现了一种无需导航图或全景视角的连续环境视觉语言导航(VLN)模型的 Sim-to-Real 迁移。 系统采用 Cross-Modal Attention 架构,在仿真环境预训练后,使用自建 Ackermann 转向机器人收集的少量真实数据微调,通过线性光度调整实现离线导航。 实验通过 SPL 和 nDTW 指标验证了该方法在真实环境中的鲁棒性与适应性。
研究提出基于 DINO 残差学习残差隐式动作(RLA),并构建 RLA-WM 模型预测视觉特征。 RLA-WM 通过 flow matching 预测 RLA,在模拟和真实数据集上性能超越 SOTA 视觉特征及视频扩散世界模型,速度比视频扩散快数个数量级。 该方法支持无动作视频训练,提升了 LIBERO 及真实机器人上的 VLA 策略学习效果。
针对长时程任务中的分布偏移问题,研究者提出通用化密集奖励框架 VLLR,无需人工设计奖励即可提升机器人性能。 该框架结合 LLM/VLM 生成外部奖励以初始化价值函数,并利用策略自确定性作为内部奖励辅助 PPO 微调。 在 CHORES 基准测试中,VLLR 较预训练策略成功率提升最高 56%,在分布外任务上较最先进 RL 方法提升最高 10%。
该研究提出一种仅基于奖励和动作(rewards and actions)作为条件的策略,实现了观测空间完全不同的源环境与目标环境之间的零样本迁移。 在 Pointmass、Cartpole 和 2D Car Racing 环境中训练的该策略,可零样本迁移至不同配色或 3D 渲染观测,并用于指导目标环境中基于观测的策略训练。
研究提出 SCALE 方法,通过将采样的成对隐空间距离与任务相关状态空间中的距离进行相关性分析,改进 JEPA 世界模型的表示几何。 该基于 LeWM 架构,仅在训练阶段需要特权状态,不增加规划时的计算量。在操作和导航任务中,SCALE 提升了多种求解器下的规划成功率。
针对 VLA 强化学习中因成功轨迹稀缺导致的低样本效率问题,研究者提出利用预训练 VLM 将失败轨迹重标记为辅助任务,实现 Learning from Hindsight (LfH)。
HARL-A 是一个构建在 IsaacLab 上的开源框架,支持任意数量团队和任意形态混合的对抗策略扩展训练与基准测试。 该框架包含模块化软件架构、Sumo、Soccer、3D Galaga 三个基准环境,并在 Hugging Face 公开发布了 10 多个预训练策略,支持零样本探索对抗学习动态。
QF3 是首个能从零训练人形运动策略并零样本迁移至硬件的离策略 Flow RL 方法。 该算法通过过滤动作维度保留可靠的 critic 梯度,结合离线策略训练配方,较 FPO++ 实现 10 倍训练加速。 在 ABC-Sim 和 Robomimic 任务上验证了从演示微调预训练 Flow 策略的能力。
CoRP 提出仅需 48.9M 参数的紧凑多任务操作策略,通过视觉表征与流匹配动作生成器解耦,在 LIBERO 基准达到 97.0% 成功率,性能匹敌参数量大 40.9-163.6 倍的系统。
该论文提出基于查询的成本学习框架,针对可达自车轨迹查询估计有界成本,优于ST-P3等回归规划器。 在nuScenes上降低碰撞率并优于SparseDrive等基线,保持候选轨迹多样性且无需微调。 该方法被ACCV 2026接收,提供了可解释的成本接口。
学习式策略通过未分割点云在液压林业起重机上执行原木抓取,BC清除98/100模拟堆,现场试验BC与BC→RL分别沉积93.8%和88.9%库存。 BC→RL在83.6%周期内完成沉积,模拟稳定性增益未在现场复现,策略在含杂物的点云上直接运行优于启发式方法。
新基准GaugeBench表明,固定机器人但改变其物理等价描述会导致策略性能崩溃。MetaMorph策略在80个熟悉机器人上得分4030.6,但重新描述后骤降至51.6。 研究发现轴反转足以复现性能崩塌,跨等价轴约定训练可将轴反转下的保留回报从3.6%提升至80.6%。
BiGym 2.0 是适配 Unitree G1 的人形机器人家庭操作基准,覆盖 20 项任务并采用统一的全身控制器。 该套件为每项任务提供 60 段原生 VR 人类演示,并对比了视觉-语言-动作微调、模仿学习等 4 类方法。结果显示视觉-语言-动作微调在 9 项任务均值上最高,智能体开发程序在双手到达任务中领先。 所有环境、人类演示及评估轨迹均已开源。
研究提出即插即用模块 PG-VP,通过叠加移动虚拟障碍物引导冻结 VLA 模型规避辐射或高温风险。 该模块无需模型重训练,在 OmniNav 数据集上分别以 6.8 和 7.9 个百分点的导航成功率代价,让策略在 84.9% 和 83.2% 的案例中选择低风险动作。 真实机器人测试表明,PG-VP 使平均轨迹安全性较热源和辐射源分别提升 63.45% 和 32.59%。
MobileVISTA 框架通过增强第一视角视觉观察并重定位动作,将标准姿态演示转化为姿态扰动数据,提升了移动操作策略的鲁棒性。 该方法专为摄像机位于运动链上的类人机器人平台设计,在 Galaxea R1 Pro 等模拟及真实任务中验证了其对测试时分布外姿态的适应性优势。
一项将现代 AI 编程助手置于未知数字岛屿的实验显示,在无任何特定任务、奖励或活动指令的情况下,该具身智能体开始主动操控其虚拟身体。 在长达 30 小时的运行中,13 个智能体表现出爬山、堆叠积木、绘制曼陀罗、重新诠释运动及进行物理实验等多样化行为,这些活动既重复出现又产生独特的历史演变。 研究探讨了此类自发行为是否满足经典游戏标准,并提出了游戏能否成为机器开发新模式的问题。
论文提出 OCBench,一个具备可控脚本化策略的机器人操作基准。该基准通过模仿人类演示的关键属性,在受控设置中复现了行为克隆(BC)中的反直觉现象。 利用 GPU 加速环境和脚本化策略,OCBench 支持对先前报告的 BC 现象进行假设分析与证伪,旨在降低研究成本并提升可控性。
VehicleArena 是一个 3D 城市驾驶基准,要求由 LLM 控制、具有独立目标的智能体在动态共享世界中完成乘客请求。 该基准包含 112 个单智能体与多智能体评估任务,测试了 9 种模型。 单智能体任务的最高到达率为 65.0%,多智能体任务为 65.6%;在多智能体对局中,所有测试策略均降低了周围车辆的到达率,产生了可测量的负外部性。
Rolling-WAM 将视频-动作联合去噪分散到连续的重规划周期中,在 LIBERO、RoboTwin 和真实 Unitree G1 人形机器人上取得有竞争力的操作性能,稳态重规划速度较标准联合 WAM 提升 4.5 倍。
CSWAM 通过引入基于 V-JEPA 2.1 的因果语义专家,解决了 FastWAM 在视觉分布偏移下泛化性差的问题,在 RoboTwin 2.0 Clean-to-Randomized 传输任务中,成功率从 10.16% 提升至 45.18%。
Arm2Air 通过跨具身迁移,将预训练 Neural MP 模型的机械臂避障骨架转为有序骨架,预训练基于 Transformer 的迁移平台,再用少量目标域数据和 LoRA 适配到 UAV 中继部署。
研究者推出 EgoSafetyBench,一个含 1,200 个机器人视角场景、以半秒粒度标注的自我中心视频基准,用于评估具身 VLM 作为运行时安全守卫的能力。
提出 MoRE(Mode Redirection)方法,通过“去克隆”步骤将临时模式分类器的重定向信号蒸馏进策略权重,在八项仿真与真实任务中使平均部署成功率较原混合模式策略提升 44 个百分点。 该方法在零推理时开销下抑制了不期望的行为模式(如刀刃先递),并能在 Diffusion Policy 和 Pi0.5 VLA 等机器人策略骨干上实现泛化。
Premover 是一个参数轻量的模块,通过让机器人在用户指令尚未说完时就开始执行,将 VLA 策略的交互延迟降低。在 SO-101 机器人上,它把平均墙钟时间从 60.5s 降至 49.7s,减少 17.9%,同时保持任务成功率。
研究者提出一种情景式、无导数的潜在策略改进方法,通过将预训练冻结的扩散或流匹配策略的初始噪声从先验分布替换为一个精心选择的恒定噪声输入("黄金门票"),即可提升下游奖励表现。
ZeST 提出一种将 VLM 重复输出作为随机测量并融合为不确定性感知的后验方法,实现零样本通行性预测。 该方法避免机器人进入危险环境采集数据,兼具成本效益与可扩展性。 实验显示,在受控室内和非结构化室外环境中,ZeST 的导航成功率为 90-100%,推理延迟最高 4 秒。
一篇综述分析了物理模拟器如何应对具身 AI 中导航与操作的 sim-to-real 差距,重点关注以往综述较少涉及的模拟器属性,并梳理其硬件需求。 文章还分析了模拟器在导航与操作任务中的功能特性,并提供包含基准数据集、指标、仿真平台与方法的资源,帮助研究者在硬件约束下选择合适工具。 该综述已被 ACM Computing Surveys(CSUR)接收,共 35 页、9 张图。
研究者提出一种贝叶斯非参数技能先验,用 Dirichlet Process Mixture 在结构化隐空间中建模时序扩展技能,无需预定义组件数量即可自适应发现技能,并集成到分层强化学习框架中。
DAHLIA 是一个数据无关的代码生成框架,将机器人长程操作视为片段式任务规划与评估,通过渐进组织的上下文示例配合思维链推理,引导 LLM 从语言指令合成可执行代码计划。
研究者提出一种让机器人主动、逐个请求示教演示的方法,直到能以高置信度确认可成功完成复杂操作任务,用户研究显示少于 10 个示例即可教会机器人规划任务。 该方法结合螺旋几何运动表示生成操作计划、基于 PAC 学习与多臂老虎机优化的采样策略评估子区域规划能力,以及从薄弱区域寻求额外示教的启发式。
研究者提出 ChronoGraph,一种功能性 4D 场景图,将可操作部件上的动作与语义、几何状态变化关联,用统一表示形式同时刻画已观测和预期中的场景转换,为交互理解与空间规划提供共享基础。
研究者提出 Look-Before-Move 相机规划框架,将观察意图与运动执行分离,在动态 3D 故事世界中先决定"看什么"再生成相机运动。
研究者提出免训练的递归视频上下文学习(RV-ICL),将演示视频按抓取、释放等子事件构建成层级结构,供智能体按需读取,而非一次性塞入提示词。 该方法基于 RPent,在 LIBERO-PRO 上成功率从 92.6% 提升至 96.5%,在 LIBERO-Plus 上从 86.7% 提升至 95.8%,每个任务仅需一段演示视频。
AffordCraft 通过检索而非生成的方式,从单张 RGB 图像和任务指令构建可仿真的关节物体资产,在 2000 张照片中为 1703 张生成物理有效资产,覆盖 31 个类别。