VLA Grounder:黑盒 VLA 模型的语言条件空间优化
VLA Grounder 提出一种语言条件空间策略,通过强化学习将人类指令转化为短指令,在下游 VLA 模型保持冻结的情况下提升任务成功率。 该方法利用物体外观、空间关系和指代表线索进行指令转换,在 RL4VLA 和 VL-Think 数据集上验证了对指令敏感型任务的有效性。
VLA Grounder 提出一种语言条件空间策略,通过强化学习将人类指令转化为短指令,在下游 VLA 模型保持冻结的情况下提升任务成功率。 该方法利用物体外观、空间关系和指代表线索进行指令转换,在 RL4VLA 和 VL-Think 数据集上验证了对指令敏感型任务的有效性。
RoboRSI 系统基于 TSR 框架,通过任务分解与执行证据归因,实现了机器人技能的可复用自我进化。 在 LIBERO 等基准测试中,其成功率最高领先最强基线 2.7 至 11.0 个百分点,并在移动操作平台上完成 104 轮家庭清洁任务验证。
论文提出 LeWAM,一种基于无解码器 JEPA 潜空间的双向 Transformer,支持前向、反向、逆动力学及策略预测。 线性探针从 LeWAM 潜空间读取状态优于常规 Le World Model,且更抗视觉干扰;闭环评估表现匹敌同规模流匹配策略。 规划阶段在策略头噪声空间采样而非原始动作,提升了 MPC 的闭环性能。
ARC 提出了一种推理配方,通过结合推理轨迹、自动标签流水线及适配策略,显著提升了现有机器人基础模型的零样本任务性能。 该方法无需收集新数据或进行大规模训练,即可从 DROID 等现有演示中自动生成 ARC-Trace-DROID,使 π0.5 和 Cosmos3-Nano-Policy 等模型实现改进。
论文提出 ME-World 模型,将多智能体第一人称世界建模定义为共享世界中多路 ego 流同步生成,并要求跨视角动作一致性与状态更新一致传播。 模型在共享 token 序列中联合去噪,基于所有智能体目标视角位姿与共享环境记忆生成内容,训练与评测使用真实及合成多智能体数据。 实验表明 ME-World 在共享世界一致性、动作控制、身份保持与视频质量上优于现有方法。
研究人员提出 Traceable World State(TWS),一种支持溯源、确定性回放和防篡改日志的机器人世界状态表示与运行时框架。 TWS 快照包含实体、关系、观测及置信度元数据,通过有序更新操作和 SHA-256 哈希链保证状态不可变和可审计。
提出 PhysMoDPO 直接偏好优化框架,将全身体控制器整合进训练流程,使扩散模型生成的运动在满足物理约束的同时忠实于原始文本指令。 使用基于物理和任务特定的奖励信号为合成轨迹分配偏好,避免依赖人工设计的物理感知启发式规则。在 G1 人形机器人上的零样本运动迁移和真实世界部署实验中,该方法显著提升物理真实感与任务指标。
研究人员提出人形世界动作模型 HWAM,通过联合生成参考动作与执行后的本体感觉状态,直接解决动作-执行差距。 该模型训练包含策略、前向动力学与逆向动力学三条互补路径,将策略参考、实际身体运动与视觉结果关联。 在 LimX OLI 人形机器人的抓糖任务中,HWAM 以 70.6% 成功率优于 Fast-WAM 的 43.3%。
研究人员提出一种免训练的上下文安全过滤方法 CSF,旨在解决文本条件运动生成器缺乏场景依赖性安全概念的问题。 该方法基于生成器产生的安全与不安全参考轨迹,利用安全参考跟踪 CBF-QP 执行自然语言安全规则。 在四个预训练生成器及 Unitree G1 机器人上测试,CSF 将危险事件率降低高达 90%,同时保留 88-100% 的良性运动。
SGS(Success Guided Sampling)自适应采样器通过聚焦策略能力前沿的任务配置,解决了大规模并行模拟强化学习中的探索瓶颈。该技术在超过一百万(2^20)个并行环境中成功解决了多地形四足运动和高接触装配任务。SGS 还通过将策略蒸馏为基于 RGB 的策略,实现了真实硬件上的零样本迁移。
VioLA 提出通过预测身体与手部动作潜在变量而非关节指令来控制人形机器人。该模型利用包含 1.406 亿帧数据(其中 93.2% 为人类数据)的混合演示池进行训练。在真实人形机器人上,VioLA 无需针对任务微调即可实现 100% 的运动成功率,且操作成功率为 88.6%。代码和检查点将开源。 ```
FAITH提出了一种无模型框架,通过前馈网络近似最优状态-动作安全价值来摊销最小干预过滤。 该框架在29自由度人形机器人上达到99.95%的安全率,同时保留了97%的无过滤回报。 相关策略在Unitree G1人形机器人上进行了实际演示。
研究提出刚体接触推理(RiCo)模型,通过稀疏邻域表示物体交互,在 MOVi-benchmark 上显著降低模拟误差。 该模型将 100 帧位置与方向误差分别降低 31-35% 和 38%,穿透时间与深度差异分别为 11.0% 和 2.22 mm。 RiCo 零样本泛化至 270 个物体场景,并通过多球碰撞实验初步验证了仿真到实物的迁移能力。
RoboAware通过从反事实结果中学习状态条件责任协调器,实现了模块化的机器人技能协调。在100项任务的单回合评估中,该方法达到77.0%的总体成功率。 SCB技术恢复了相同的训练状态以生成并执行代码块,暴露了选中分支经验未观察到的结果。
ACT³ 提出动作中心三流 Transformer,通过层间注意力融合 VLM 语义与 WM 动力学信息生成控制动作。 该模型允许动作专家独立访问双骨干,上下文流保持独立前向传播,并通过控制监督更新。 在模拟和真实世界机器人操作基准测试中,ACT³ 性能优于同类方法。
提出可靠性感知未来条件生成(RAFC),将时间错位视为控制问题而非生成问题,在 CALVIN 基准上将成功率从 26.7% 提升至 56.7%。 RAFC 在 FEC 基础上,每步估计对视频片段的信任度并优先选择邻近时间假设,仅从任务奖励中学习,无需移位标签。 在 Franka 机械臂自然时序失配场景下,聚合成功率从 26.7% 升至 56.7%,显著提升操作鲁棒性。
提出 PMTRM 模块解决具身策略学习中的相位歧义,仅含 7.61M 参数。 该模块编码有限历史状态,训练时引入时序异质性目标函数,推理时提供历史信息以优化任务成功率。
TACROSS系统通过在对齐接触事件而非原始传感器值层面解决异构触觉信号对齐难题,实现人类触觉数据向机器人迁移。其硬件整合五层压阻手套,含285个传感点,成本仅10.86美元。
AffordDrive3D 是一种结合可供性(affordance)与几何感知的世界-动作模型,在 NAVSIM 基准测试中创下 91.3 PDMS 和 89.9 EPDMS 的 SOTA 性能。
几何引导掩码生成运动规划(MGMP)将掩码生成 Transformer 与几何引导 Token 搜索(GGTS)结合,实现离散轨迹候选的结构化修复。 该方案在 Ring Maze 测试中成功率达 96%,在 Kuka 机器人的 Controlled Route Invalidation 任务中修复成功率为 82%,分别超过最强外部基准 23 和 25 个百分点。
WAM-Cache 提出一种免训练框架,通过跨块保留层间 KV 表征并仅重算稀疏刷新集来降低视频 DiT 预填充 FLOPs。 该框架结合动作专家交叉注意力与视觉潜变量惊讶度选择刷新集,并通过严格的年龄上限抑制误差累积。
针对 AV-LLMs 缺乏显式机制处理全局几何的问题,论文提出 FloorSAV 框架,通过渲染动态 2D 楼层图显式构建空间音频视觉上下文。该框架整合 3D 点云、相机轨迹、空间音频线索及语义地标,将楼层图作为同步流注入模型,辅助多模态推理。
Being-M0.7 是一种潜在世界-动作模型,通过混合模态人类数据预训练迁移视觉运动先验至人形机器人控制。该模型整合了 10,000 小时以上原始数据,在 SIMPLE 基准中取得最高综合成功率,并在 Unitree G1 真机任务中匹配最强基线。
Task Scrubbing 是一种领域对抗训练方法,通过提升 VLA 模型对语言的关注度,减少其利用视觉捷径学习,并改善其分布外(OOD)的鲁棒性。 该方法在多个 VLA 模型和真实世界中消除视觉捷径学习,并提出了无需策略滚动即可衡量模型行为的相关指标“动作间隔”(action margin)。
视觉-语言-动作模型 FLOWMEM 通过动态检索并重组潜在推理片段,将成功推理转化为可复用经验以条件化动作生成。 在 RoboMME 和 LIBERO-Plus 基准上,FLOWMEM 成功率分别达 48.0% 和 77.3%,较无记忆策略高出 1.7 和 4.1 个百分点。 该结果证实了复用潜在推理对闭环 VLA 控制的价值。
研究提出检测-恢复-重启系统解决长时序操作中的观测空间偏移。 系统通过任务进度监控、策略恢复及微调,在 BOSS-44 基准上将全链成功率从 7.6% 提升至 26.5%。 结果显示,恢复场景状态比重试更有效地解决了长时序组合失败问题。
该研究提出拉马克式进化框架,以候选分布间的竞争取代传统代理标准,实现场景分布与策略能力的共同进化。 实验显示,完整框架将性能损失降低最多 25.07%,轻量级策略仍实现 19.13% 的降低。 代码已在 GitHub 开源。
提出 GeZo-SAC 方法,通过几何表示自适应 critic 悲观度,在 MuJoCo-v5 运动基准测试中取得最高平均回报。 方法使用辅助 generator 定义 zonotope,通过探测方向计算几何宽度作为悲观偏移量,并聚合双 critic 分歧度。 该方法实现了最低的每米执行器功和行动努力,且所有环境保持近乎零的过估频率。
4-tensor 注意力模型在 ROCStories 数据集上预测下一语义状态,其最后句子交叉熵相比 1D Transformer 基线在 H=2, L=2 等配置下分别降低 5.3%、2.6% 和 2.4%。
NavGPT-3 在 R2R-CE 上取得 81.51% 成功率,并在 RxR-CE 上达到人类水平(90.43% 成功率)。 其 8B 参数动作策略模型 NavGPT VLA 在 R2R-CE 上单独达到 74.51% 成功率;完整系统反应时间降至每步 0.5-1 秒。 所有模型、代码及评测记录将开源发布。
NVIDIA 官方展示了 12 个项目,说明开发者如何使用 GPT-6 Astra、Claude 等前沿 AI 智能体结合 Omniverse 库构建应用。项目涵盖可编辑 3D 资产、机器人拆解测试、可编辑建筑模型、燃气轮机数字孪生、仿真场景、规模化仓库仿真、机器人控制、CAD 转换、人形模拟器、自动驾驶测试、数字孪生对比以及 Robo Olympics。
研究团队发布仿真测试环境 RobotWorld,用于评测多模态智能体在物理世界中的机器人控制能力。 环境包含涵盖操作、移动及飞行等类别的 84 项任务,设置了显式交互预算与可执行成功判定。 测试显示现有智能体能构建感知控制流但难以组成可靠行为,且 Astra 与 Opus 5.5 在不同任务上表现各有侧重。
提出分层强化学习框架,将高频关节运动与低频步态适应解耦,通过三阶段 Isaac 训练实现零样本 sim-to-real 转移,降低质心传输成本(CoT)。 在仿真中对比单策略基线,该方法在平坦、崎岖及倾斜地形均保持鲁棒性,并自动根据速度切换从慢走(pacing)到小跑(trotting)步态。 在 Unitree AlienGo 四足机器人上完成零样本实际部署验证,证实了方案的工程可行性。
研究者构建了含10,000次抓取试验、200个物体的数据集,并利用四个Digit 360触觉传感器采集视觉、本体感知及触觉流数据,以训练端到端时间多模态模型。 模型预测提升后稳定性,将学习到的预测器部署为在线稳定性门控,使重新抓取成功率相比非触觉门控提高了10.5个百分点,提供了无需显式接触建模的数据驱动路径。
研究团队提出 DRIVE 方法,通过将成功行为多样性转化为显式强化学习目标,显著提升视觉-语言-动作(VLA)策略的泛化能力。 在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准测试中,DRIVE 使 π0 模型的域外平均性能比常规强化学习微调提升 5.3 分,π0.5 提升 2.0 分。
NAViLoss 联合惩罚导航状态域的速度估计残差和 DVL 测量域的波束一致性残差。 该模型集成了 DeepONet 架构,利用有界形式限制大残差影响,并自适应调节波束几何不确定性。 在半合成实验数据评估中,速度估计精度较传统及学习基线提升了 44%。
TERRA 通过时间效应表征和关系对齐学习可迁移潜在动作,在 LIBERO 基准上以 93.4% 平均成功率超越 UniVLA 的 91.8%。 模型利用冻结线性读取器更准确地预测动作,且在视觉干扰下性能退化更慢;同等预训练规模下效果显著,代码即将发布。
Immiscible Diffusion Policy 采用无标签训练时增强方法,解决扩散策略坍缩为单一模态的问题。 方法通过动作噪声分配保持独立噪声-动作路径,无需修改模型架构或推理过程。 在 7 个人形机器人任务中,该方法将非主导模态比例提升 6.0 倍至 14.6 倍。
Workhorse 通过人类演示学习双足机器人全身操作,在 Unitree G1 上完成分拣、接盒等任务。 视觉规划器预测躯干、双手腕和双脚姿态,强化学习追踪器在机器人上执行,两者基于同一人类数据独立训练并互相模仿部署错误。 在模拟环境中,受 40 N.s 推力影响时分拣成功率为 64%,无推力时达 83%。
该研究提出首个使用模型强化学习在开放表面实现自主液滴导航的机器人平台,无需仿真或解析模型,仅需50至150个物理训练回合。 平台在90分钟内完成训练,展示了向未见几何形状的零样本迁移能力,并自主发现振荡去钉扎策略以解决液滴粘滞问题。 这些结果扩展了强化学习在可变形软物质系统中的应用,服务于下一代自驱动实验室。