EmbodiedSkills:基于世界动作模型增强的级联技能框架用于视觉语言动作智能体
EmbodiedSkills 框架通过世界动作模型增强冻结的视觉语言动作(VLA)策略,实现了结果感知的动作选择。该框架定义了七个可复用技能,通过预测潜在后果并评估结果,从候选动作分支中优选。在 MetaWorld MT50 和 CLIPort 测试中,任务成功率分别提升至 78.64% 和 36.83%,验证了其在不同策略后端下的适用性。
EmbodiedSkills 框架通过世界动作模型增强冻结的视觉语言动作(VLA)策略,实现了结果感知的动作选择。该框架定义了七个可复用技能,通过预测潜在后果并评估结果,从候选动作分支中优选。在 MetaWorld MT50 和 CLIPort 测试中,任务成功率分别提升至 78.64% 和 36.83%,验证了其在不同策略后端下的适用性。
Agentic Real2Sim 提出基于视觉-语言智能体的物理世界建模框架,将真实机器人交互记录转换为可仿真的情景孪生体。该框架在刚性物体操作、软体交互及人形运动场景中均有效,支持策略微调与评估。 采用开源 VLM 后端即可达到与前沿模型相当的转换成功率,且成本大幅降低。代码已开源,可作为真实世界策略评估的有效替代方案。
LIFT 框架为预训练 VLA 策略引入反应力注入,解决视觉驱动在接触状态下的分布偏移问题,已在 CoRL 2026 被录用为 Spotlight 论文。 该框架结合因果力记忆与零初始化交叉注意力注入 6D 末端执行器力,并耦合在线 DAgger 循环混合离线与人工修正数据。 在毛巾折叠、书籍插入和汉诺塔放置任务中,LIFT 学习速度更快,峰值与最终性能均优于仅视觉 DAgger。
研究提出EgoWAM框架,验证世界动作模型(WAM)在机器人操作中对第一人称人类数据的优于行为克隆的训练效果。 该框架固定策略骨干与动作头,仅改变世界预测目标(像素、DINO、3D运动流)。DINO显著提升分布外泛化能力最高达4倍,3D流使域内性能提升20-30%。
CI-MSE 是一种用于机器人模仿学习策略的离线验证指标,通过零样本智能体定位关键片段并计算误差,比原始 MSE 更紧密地关联真实世界性能。在 27 个策略检查点上,CI-MSE 的 Spearman 秩相关系数达到 -0.87,显著优于原始 MSE 的 -0.61。 该方法在超参数范围内表现稳健,并为加速策略迭代提供了简单可靠的离线验证工具。
研究人员提出 TISED 框架,通过分解有损推理优化在静态与动态具身任务中的效应,揭示了三个加速悖论。 这些悖论包括:静态任务中整体完成时间可能延长;动态任务中适度有损优化可提高成功率;且最优效果位置随硬件配置变化。
RoboGaze 是一款免训练的 VLM 评估器,能生成时序定位诊断报告以精准识别机器人世界模型生成视频中的物理或逻辑错误。 该评估器在 RoboGazeBench 914 个标注视频上表现优于基线,其 critic 机制将干净视频准确率从 17% 提升至 85%。
研究人员提出轻量级视觉比较器RARM,将单次成功演示转化为密集、进度感知的奖励。 RARM在通用视频上通过对比时序目标训练一次,无需机器人特定数据或任务奖励标签;部署时通过匹配片段并仅奖励高置信度的前进进度来抑制虚假阳性。 在LIBERO和MetaWorld的9个模拟任务及4个真实任务中,RARM在后续RL训练中取得了最佳整体成功率。
FiberTune 提出训练期目标,通过保留教师结构化视觉残差来防止动作监督微调导致的视觉结构压缩,且不增加推理开销。 该方法使用在线动作探针过滤中间视觉 token 表示中的动作可预测方向,结合中心方向对齐和有效秩正则化,在六个模拟设置及物理 SO-101 任务中表现优于仅任务损失微调。
该研究提出利用多形态价值函数的值梯度优化机器人设计。 它训练跨多个机器人的感知策略和价值函数,作为可微代理来优化候选形态。 在多达50个机器人、超过1100个连续参数空间内评估了该方法。 值梯度还能识别性能限制性的设计和控制参数。
summary_zh: 提出 VLAs-as-Tools 策略,将长时程任务分解为 VLM 智能体全局规划与专用 VLA 工具执行,通过 Tool-Aligned Post-Training (TAPT) 实现指令对齐。
RCD 提出一种无训练引导方法,利用预训练扩散模型的自重构误差作为对数密度代理,结合重叠一致性项,将采样导向高密度全局连贯计划。 在 OGBench 的运动、物体操控及像素级观测长时程任务中,RCD 性能持续优于现有方法,有效缓解了模式平均问题。 该文已被 NeurIPS 2026 接收。
针对自动驾驶 Graph VQA 提出跨阶段上下文传递协议,对比显式提示与隐式门控投影机制。显式方法基于 Mini-InternVL2-4B 无需额外训练,降低 NLI 矛盾最高达 42.6%;隐式方法在 InternVL3-8B 上结合 QLoRA 训练,仅更新约 0.5% 参数,显著降低规划阶段 NLI 矛盾 34%,提升跨阶段蕴含 50% 及 CIDEr 分数 30.3%。
UniT框架通过视觉锚定和三分支交叉重建机制,建立跨具身共享离散潜在空间,解决异构运动学不匹配问题。 在策略学习(VLA-UniT)和世界模型(WM-UniT)两种范式下验证,实现SOTA数据效率、鲁棒OOD泛化及零样本任务迁移。 t-SNE可视化证实人类与人形特征收敛至共享流形,为蒸馏人类知识提供可扩展路径。
Pickalo 基于低成本硬件构建 6D 位姿管线,在 UR5e 机械臂上实现每小时 600 次拣选,抓取成功率达 96-99%。 系统采用腕部 RGB-D 相机、BridgeDepth 深度优化及 SAM-6D 零样本位姿估计,并在 30 分钟连续运行中保持鲁棒性能。
研究团队提出轻量级视觉-语言-动作模型 AnolisVLA,利用深度状态空间模型高效处理多模态序列,适用于资源受限环境。 在移动端操作中,AnolisVLA 任务成功率比 30 亿参数模型 π0.5 高 21 个百分点,推理速度约为其 3 倍。 该模型在保持相近 GPU 内存占用的同时,实现了更高任务成功率和更快推理,提升了移动机器人操作的可行性。
OxyGen 通过统一 KV Cache 管理解决 Mixture-of-Transformers(MoT)视觉-语言-动作(VLA)模型的多任务并行推理瓶颈,实现最高 3.7 倍加速。
提出一种在线、学习者无关的重置控制器,为每个上下文提供独立的反向课程,解决同步全局进度在任务实例学习速率不同时的失效问题。 该控制器利用二元 rollout 成功决定进度的前进或后退,并在停滞前沿进行更难的起点尝试。
MoMa-SG框架通过统一扭转估计方法,从RGB-D序列构建含铰接物体的语义运动学3D场景图,支持旋转与棱柱关节参数估算。 框架包含Arti4D-Semantic数据集,涵盖62段野外RGB-D序列及600次物体交互,在四足与移动机械臂上验证了真实家庭环境的铰接操作能力。
流匹配策略梯度框架通过绕过似然计算,解决了机器人控制中基于似然的策略梯度方法对高斯分布的局限。 研究提出改进目标函数,在足式运动、人形运动追踪和操作任务中实现成功,并完成双足人形机器人的仿真到现实迁移。 结果显示,从零训练时策略可利用流表征进行探索,且微调鲁棒性优于基线方法。
提出 TTT-Parkour 框架,通过 real-to-sim-to-real 测试时训练,使人形机器人在未经预训练的复杂地形上实现动态跑酷。 采用两阶段端到端学习:先在程序生成地形上预训练,再用 RGB-D 重建的高保真网格在仿真中快速微调。 全流程(捕捉、重建、测试时训练)耗时约 10 分钟,机器人直接 sim-to-real 部署且无需进一步更新策略。
NeuroVLA架构结合皮层视觉语言规划器与小脑递归调制,在仿真与物理任务中较VLA基线显著提升控制性能。 小脑模块将平均指令 jerk 降低75.6%,碰撞恢复率达54.8%(基线为0.0%)。 FPGA神经形态处理器上的脊髓控制器实现2.19 ms推理延迟,单次能耗0.87 mJ。
Hiking in the Wild 是一种端到端感知型腿部跑酷框架,将深度输入和自身感觉直接映射为关节动作,无需外部定位与建图。 框架包含基于可伸缩地形边缘检测和足体积点的落脚点安全机制,以及通过生成可行导航目标来抑制奖励作弊的扁平区域采样策略。 在宇树 G1 人形机器人上的实验表明,该策略支持在复杂地形上以最高 2.5 m/s 的速度稳健移动。
提出一种基于自博弈强化学习的驾驶策略训练方法,通过仅使用30分钟人类演示数据作为正则化目标,解决了纯自博弈策略行为异化的问题。 相比模仿学习,该方法所需人类数据减少2500倍,仅需15小时在单张消费级GPU上即可完成训练,生成的策略能与未见人类轨迹协调。
论文提出神经SE(3)等变嵌入NeuSE,作为紧凑点云代理以支持基于对象的SLAM。 该潜在编码具备SE(3)与尺度等变性,可从部分观测生成,直接推导帧间变换并适配常见位姿图优化,保持轻量级物体中心地图。 在合成与真实世界多类别、多尺寸序列上,该方案独立或配合常规SLAM运行,提升了定位能力与变化感知映射一致性。
HWM 提出一种在视觉隐式世界模型上进行层级模型预测控制的架构,通过多时间尺度预测和隐空间匹配将任务分解为子目标。 在真实 Franka 机械臂抓取任务中,HWM 仅凭单张目标图像实现 70% 成功率,而单层规划成功率为 0%;在长时程任务中可减少最高 3 倍的规划计算量。 该研究已被 CoRL 2026 会议接收。
ParallelWorld提出一种自适应视野测试时扩展框架,通过并行模拟动作序列评估未来状态。 Verifier动态剪除低效分支以指导轨迹选择,仅在ESI-Bench和LIBERO-Pro基准上验证了有效性。 该框架显著提升了主动空间推理与语言条件化操作能力。
SafeBranch 提出一种基于分支对的安全对齐框架,用于训练视觉语言模型驱动的具身智能体,解决交互过程中的安全约束冲突问题。 该框架通过回滚至安全关键步骤并生成替代动作构建分支对,在 IS-Bench 和 SafetyALFRED 等基准测试中,于未见过的物体变体上将安全任务成功率提升约十倍。 已被 EMNLP 2026 Findings 接受。
FloWM 学习的世界模型采用空间网格存储特征,配合 5 种内置速度移动物体,与使用数字节点记忆的目标跟踪器在块世界中进行了对比。 单格探测仅发现 66% 的视野外物块,而 FloWM 自身探针达 89%;节点跟踪器用 14KB 达到 FloWM 5.6MB 的范围性能。
该研究提出 Reward as an Agent 框架与 DynDiff-GRPO 方法,通过可靠验证和动态感知采样多元化,在多个开源具身世界模型上显著降低 reward hacking 并提升准确率。
提出LADDER基准,包含三个测试套件、145个任务及2024条模拟轨迹,用于隔离评估长时域机器人操作中的失败模式。 低层策略在单子目标任务中成功率达85.4%,但在扩展任务中骤降至接近零;基于工具选择的编排(如GPT-Policy)成功率约为62%。 该基准证实了编排对提升长时域任务性能的作用,且受限于底层物理执行误差而非高层规划。
WACL 框架利用每个任务 10 次裸手人类演示学习全臂接触轨迹,无需遥操作。 该层级框架使用语义关键点、参考接触轨迹和安全路径约束,在 7 自由度机械臂上验证。 在端执行器约束下,WACL 成功率达 78%,显著高于基线的 33%。
ASD方法利用开源VLM进行自蒸馏,无需人工语言标注,在13项导航任务中显著提升了成功率。 学生策略仅凭机载观测预测轨迹,室内成功率提升30%,户外任务达95%。 该方法被CoRL 2026会议接收,验证了特权反馈对扩展通用导航策略的有效性。
研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。
研究团队提出 LIBERO-RIG 基准,专门测试视觉语言动作模型在机器人硬件和设置发生扰动时的鲁棒性,涵盖 11 个扰动维度和 210 种条件组合。 该基准固定 LIBERO 任务,通过改变相机挂载、校准及控制速率等硬件因素生成测试场景,并评估了 9 个最新模型,采用 500 个 episode 进行统计检验。
RoboSimStudio 是一个交互式工具包,允许人类和编码智能体通过编辑求解器、接触模型及物理参数来迭代优化机器人操作的 Real2Sim 模拟。 该工具基于开源 Newton 物理模拟系统实现,支持视觉评估、力反馈及 Agentic Real2Sim2Real 实验,旨在解决机器人接触力学建模难题。 代码与视频已发布于项目网站,方便研究人员复现相关实验。
系统 Steertuning 使机器人能在 5 分钟内通过 5 个人类演示学习新环境中的新任务,跨 12 个任务达成 71% 成功率。 系统预训练一个 400M 参数的扩散策略模型,基于 100 小时第一人称人类交互数据;微调仅需 2 分钟(2000 次更新)。 方法支持从实验室到厨房等多种新环境的本体迁移,全套数据集与代码将公开。
该研究提出 VAQ 方法,通过将动作量化误差限制在状态可达性的重构误差范围内,有效保留了量化动作对未来状态和价值的影响。 基于此构建的 VAQ-MCTS 框架在行为克隆任务中显著提升了数据效率与鲁棒性,实现了零样本环境适应。 在硬件实验中,VAQ-MCTS 仅利用 10 分钟演示数据便成功完成了全部 30 次真实物体推动试验。
提出 MemoryVLN 系统,通过记忆构建与管理解决视觉语言导航中长轨迹性能下降问题。 在 R2R-CE 和 RxR-CE 数据集上,该系统相比最先进基线分别提升 2% 和 6.5% 的成功率。 利用长序列压缩与分层记忆库实现经验复用,显著提升导航可靠性。
Orchestra 代理框架通过分离任务规划与动作生成,在 RMBench 9 项任务中实现 68.22% 平均成功率,超越 Mem-0 26.22 个百分点。 引入 RMBench-Compose 基准测试,其 7.35 平均成功子任务长度是 HarnessVLA 的 2.46 倍。 在 4 项真实多步任务中,相比基础 pi_0.5 策略提升 25.0% 平均成功子任务长度。