基于预期感知的双足机器人步态:轻量级 FPM 预处理提升 Unitree G1 零样本泛化
研究提出轻量级足落点预测模型(FPM),通过仅采样预期足落点周围的局部高程图,使策略达到特定地形难度所需的训练迭代次数减少约三分之一。 该方法在狭窄走廊和未知地形上优于全地图策略,匹配高成本注意力编码器效果,并零样本迁移至 Unitree G1 处理训练分布外的障碍物、楼梯及落差。
研究提出轻量级足落点预测模型(FPM),通过仅采样预期足落点周围的局部高程图,使策略达到特定地形难度所需的训练迭代次数减少约三分之一。 该方法在狭窄走廊和未知地形上优于全地图策略,匹配高成本注意力编码器效果,并零样本迁移至 Unitree G1 处理训练分布外的障碍物、楼梯及落差。
论文提出多模态具身智能体(MMEA)及统一能力框架 PAPAV,定义感知、预期、规划、行动、验证五大核心功能。 在 64 个基准测试中,现有评估聚焦于行动(Act),仅 5 个涉及预期(Anticipate)和 3 个涉及验证(Verify),物理约束使这些能力难以被任务成功掩盖。 PAPAV 为设计可靠物理智能体提供共同基础,推动对五大能力的独立度量。
提出 AtomicRL 强化学习后训练框架,利用原子任务结构解决 VLA 模型长程操作中的信用分配难题。 引入语义感知策略优化(SAPO)与瓶颈自适应目标探索(BATE),并构建 Real2Sim2Real 管线连接仿真与真机部署。 在 LIBERO-LONG 上较 PPO 提升 3.6%-4.0%,CALVIN ABC-D 提升 9.5%,真机任务平均性能提升 21.3%。
在 LIBERO-10 机器人操作基准测试中,研究人员构建了统一的闭环操作框架,评估了 6 款前沿 AI 模型在未进行任务特定微调的情况下直接控制机器人的能力。
SP-HLM 提出了一种稀疏姿态驱动接口,结合五个任务关键身体姿态与学习潜在运动先验,以互补形式表示空间意图和全身协调,在模拟和真实机器人实验中提升了运动跟踪、全身协调和 loco-manipulation 成功率。 该框架由 SP-VLA 预测稀疏姿态和手指关节位置,SP-MGM 通过两阶段蒸馏实时重建全身运动,SP-GMT 整合稀疏目标与潜在先验实现全身控制。
研究比较了奖励级、优势级、损失级和 PCGrad 四种偏好评级聚合方式在两种人形控制框架中的表现。结合偏好奖励响应度(PRR)、覆盖率和效用指标评估发现,没有哪种聚合层级能在所有环境和标准下最优。早期聚合增加行为响应范围但引发非目标行为变化,后期聚合提升控制精度但牺牲响应性。
研究人员提出通过增加数据来源多样性而非仅增加样本量来提升机器人零样本泛化能力。 该方案构建共享隐空间结合多模态对齐与生成式增强,并呼吁基于 Origami 机器人建立开发者社区以获取多样化数据。
世界动作模型(WAMs)在泛化性能上因生成式骨干不同而显著分化。研究量化表征先验的干扰正交性,发现高正交性关联更强的视觉变体鲁棒性,使策略泛化可被前瞻性测量。该发现为表征先验如何塑造世界模型泛化性能提供了几何视角。
研究团队发布 PHD-Hand,这是一款完全由连杆驱动且每根手指具备 3 个自由度(DOA)的仿人灵巧手原型。 该设计采用独特的柔性铰链和弹簧钢弹性驱动杆,简化了传动结构,无需大量微型运动部件,可使用 3D 打印机低成本制造。 原型机通过了抓取与物体操作测试,相关运动学与控制发现发表于 Humanoids 2026。
SLoSa 框架通过神经符号压缩与微调,训练出兼具小型化、低功耗及安全意识的基础模型机器人任务规划器。 该框架经 PDDL 领域测试,将 4B-14B 规划器成功率提升至 70.5-76.0%,Jetson Orin 上 INT4 部署平均功耗为 17.85-26.41 W。 实验验证了其在家用模拟与实体机械臂等多样化机器人任务场景中的适用性。
HyperDrone 模拟器比现有 SOTA 快 20 倍以上,支持在消费级 GPU 上以每秒百万帧渲染高保真 3D 场景。该工具基于 HyperLux 光线追踪引擎,完全在 GPU 上运行,输出包括 RGB 和光流在内的多种观察数据。团队将其用于训练视觉策略并成功部署于 Crazyflie 无人机上,论文已被 CoRL 2026 接收。
inr2action 框架将机器人片段存储为固定大小的神经隐式权重增量,解耦了记忆成本与时间跨度。 在 RoboMME 基准测试中,该模型在问答任务中超越随机水平,联合命令回归平均 $R^2$ 达 0.51。 用随机噪声替换增量会导致性能下降 11.4 分,验证了元学习初始化对嵌入片段内容的关键作用。
研究团队通过120种配置分析持续预训练对具身代理的影响。测试涵盖0.8B至27B模型、50至1,600小时数据及5种混合方案。 结果表明:更多数据提升内部表现,多样性增强相关世界迁移,更大模型提高数据效率但降低远距离泛化。
summary_zh: GPT-6-Astra 作为机器人动作策略,无需机器人专用预训练或每任务微调,在五个 UniVTAC 任务中取得 93.8% 的平均成功率。
CAPSafe 基准发布,评估具身智能体在复杂家庭环境中的行动与规划安全推理能力。 测试包含9个闭源和开源 LLM,发现危险识别(最佳超90%)与长期规划间存在显著差距,Gemini-3-pro 规划安全成功率最高达78.19%。 结果显示,鲁棒的长序列安全推理仍是开放挑战,需进一步突破。
summary_zh: AdaDex 框架利用 Hybrid Dexterous Mimicking 将数秒的人手物体运动轨迹转化为可适应的灵巧技能。 该共享策略在大规模并行环境中训练,结合密集运动跟踪目标与稀疏物体成功奖励。
针对动作条件视频生成模型忽略指令的问题,提出的动作影响最大化(AIM)算法通过主动收集数据提升数据集动作影响。 在像素级操作任务中,3000个演示片段添加500个主动收集片段,其末端执行器可控性相当于30万专家演示片段。 实现85倍的数据效率提升,证明了主动数据采集在提高模型可控性上的有效性。
针对隐世界模型中隐变量包含无信号方差噪声的问题,该方法利用 SIGReg 正则化器拟合的状态动力学矩阵 A,在特征基下将 L2 规划成本限制在不确定性最低的 k 维子空间。 该方法后验校正且不修改编码器或规划器,仅在 2D 导航任务 TwoRoom 和 PointMaze 中,相比普通 L2 成本将成功率最高提升 +54.7 点。
Hugging Face 发布 SimReady Central 库,提供超 2000 个含碰撞、质量等物理属性的 OpenUSD 资产,免费开放给开发者。 该库涵盖机械臂、仓储设备及冷却基础设施,支持 OEM 如 Fanuc、Comau 提交资产,用于构建机器人操作与 AI 工厂数字孪生场景。 开发者可组合资产搭建拣选放置模拟环境,加速物理 AI 训练与布局决策。
NVIDIA 扩展其开放模型家族,涵盖语言、机器人、生物及量子计算领域,旨在支持开发者构建符合本地语言和工业需求的应用。
提出一种基于 Transformer 自编码器的动作重定向方法,通过可学习的骨架图扁平化捕捉拓扑不变性。 该方法在零样本设置下将全局关节位置误差降低 43-47%,全非监督训练无需配对数据,且在人因实验中被评为运动对齐最佳。 证明了特定架构设计是使 Transformer 在动作重定向领域超越现有几何方法的关键。
机器人策略 KITE 通过解耦本体无关的交互预测与本体特定的运动学解码,实现了零样本跨本体操作。 该方法利用源机器人演示数据训练交互策略,并仅基于目标本体的运动学模型生成合成数据进行解码,无需额外任务演示。 KITE 在平行夹爪、灵巧手及复合本体间成功迁移,且性能 consistently 优于现有最先进基线。
提出 Flow Control 方法,利用键盘等通用输入实时引导 VLA 模型动作。该方法无需微调或重新训练,可将用户输入写入流匹配动作专家初始条件。 用户可显著提高任务成功率并加快完成速度,同时保持生成动作对未引导策略的高一致性。
DEFLECT 是一种离线后训练框架,通过利用预测与执行时刻的观测差异生成偏好监督信号,提升视觉-语言-动作(VLA)策略在异步推理下的延迟鲁棒性。 该框架在 Kinetix 和 LIBERO 基准测试中,分别在支持的最大延迟下比 VLASH 提高 4.2 个百分点,比 GR00T N1.7 的朴素异步执行提高 22.7 个百分点成功率。
研究团队提出EMMA框架,结合生成式数据引擎与训练流水线以增强视觉-语言-动作模型鲁棒性。 DreamTransfer基于扩散Transformer生成多视角一致视频;AdaMix策略自适应加权困难样本。 真实机器人零样本任务中,该框架性能比仅用真实数据训练提升超92%,结合AdaMix额外提升17%。
论文提出G Gibson Virtual Environment,旨在解决具身智能体在物理世界中学习缓慢且成本高昂的问题。 该环境通过虚拟化真实空间而非人工设计场景,目前包含572栋完整建筑的1400多个楼层空间。 内置Goggles机制可支持模型直接部署到真实世界,无需进一步的域适应,体现了智能体受物理和空间约束的具身特性。
UniWALM 提出统一的世界-动作-语言模型,通过共享表征同步解码子任务、文本记忆和动作。 该模型采用 Mixture-of-Transformers 骨干网络,各模态扩散头协同去噪,引入 Flow Matching with Correction (FMC) 提升动作流可靠性。
Industrial ReMEmbR 扩展 NVIDIA ReMEmbR 至机器人集群,通过按需生成场景描述降低服务端计算成本。 系统利用 Jetson 编码视频,结合 Cosmos-Embed1、Cosmos3-Edge 及 Wan2.2 VAE 生成嵌入与视觉 token。 设计消除写入时字幕生成,450 次测试中缓存 token 解码复现了未分割模型的输出。
SceneRig是一个将单张图像转化为可编辑、仿真就绪3D场景的智能体系统。 该系统结合几何、视觉和物理工具进行场景重建,并通过物理模拟器内的“编辑-验证”循环确保物理稳定性。 其场景能更准确预测真实机器人策略结果,并支持记录操作的可靠重放,已被CoRL 2026 Agentic Robotics Workshop接收。
REACT框架通过VLM引导的接触建模和生成式伴侣状态建模,解决双足机器人-人类交互中的严重部分可观测性问题。该方法在模拟环境和真实Unitree G1机器人上完成五种富接触交互测试,其中生成式伴侣状态建模在四种交互中显著提升了接触召回率,尤其在重度遮挡情况下表现突出,且完全依赖板载传感实现部署。
针对世界-动作模型在长时程操作中因阶段混淆导致生成错误未来的问题,研究者提出闭环框架 TaskWAM。 TaskWAM 利用 Mode Tokens 表征任务需求、State Tokens 追踪执行进度,并在 StageBench 基准中验证了其降低混淆的效果。 该方法具备即插即用特性,可迁移至单臂、双臂及人形机器人等异构系统。
DirectWAM 利用动作充分蒸馏将级联世界动作模型转化为单步预测器,在保持显式未来到动作级联的同时消除随机采样。 模型在 LIBERO 四个套件上平均成功率达 97.1%,RoboTwin 2.0 成功率 85.4%,超出 Flash-WAM。 相比完整迭代教师模型,推理延迟降低 28.0 倍。
HuTact 提出利用大规模人手-物体交互数据预训练触觉感知手表示,无需真实触觉信号即可迁移至机器人。该框架在抓取预测任务中仅用 25% 标注数据配合 88.26% Macro-F1 指标,与使用全量数据从头训练持平。 人类交互数据可作为机器人触觉表征学习的高效互补来源,显著提升了下游任务的数据效率。
CovNav提出一种免训练的保形预测框架,将目标导航中的空间查询转化为二元决策。 在HM3D v1和v2上,其成功率分别超过最强零样本基线0.8和1.7个百分点,且仅对12.4%的查询调用慢速推理。 该框架通过校准不确定性决定何时进行慢思考,为基于LLM的机器人提供了自适应测试时推理原则。
单颗头戴相机(122 美元)替代腕部相机及位姿追踪器,配合无电子元件手套(22 美元)实现 6-DoF 位姿抓取。 在机器人部署时,同款相机安装于 120 美元机械臂上模拟采集者头部视角。基于该方案训练的模型在 25 次试验中成功 20 次,优于腕部相机方案的 15 次。
研究团队提出 SCAMPER 系统,通过结合运动先验和行为先验,首次实现虚拟大鼠在目标导向行为和随机探索中均产生自然运动。 该系统采用变分架构,利用行为先验产生的多样化运动支持稀疏奖励学习,模拟神经科学实验任务。 SCAMPER 为神经 AI 社区提供了在真实任务上训练啮齿动物具身模型的新系统。
该专著构建了物理AI统一框架,将其定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的系统。 专著共388页、64张图,涵盖多模态感知、世界模型及具身基础模型,并重点探讨Sim-to-Real迁移、可靠性与评估等核心问题。 旨在推动从窄域自动化向可泛化物理AI及物理AGI发展。
NVIDIA 发布 Cosmos3-H-Dreams,这是一款基于临床胆囊切除术视频训练的实时生成式手术模拟器。该模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano 构建,通过 FlashDreams 加速流式推理,可支持单张 NVIDIA RTX PRO 6000 GPU 实时运行。
推荐理由:展示了在单张高端GPU上运行实时手术生成模拟器的技术路径,为具身智能提供了具体的工程参考。
2026科大讯飞全球1024开发者节科博展于10月22日在合肥启动。 展区展出讯飞星火X2.6及“飞星平台”,后者基于昇腾生态支撑万亿参数模型训练。涵盖智慧座舱、AI眼镜及脑机接口康复系统,并开放实验室供公众探访。
大晓机器人发布ACE-Brain-0.6,六项Grounding评测超越GPT-6 Astra,七项公开基准平均分74.53分领先其73.68分。 基于Qwen3.5-9B构建,利用约百万条可验证空间锚定样本,通过数据规模化探索实现能力跃升。 验证了9B级模型在具身空间感知领域可超越顶级通用模型,推动具身智能向可靠物理执行转化。