多模态具身智能体:从 Computer-Use 到 Robot-Use 的统一能力中心视角
论文提出多模态具身智能体(MMEA)及统一能力框架 PAPAV,定义感知、预期、规划、行动、验证五大核心功能。 在 64 个基准测试中,现有评估聚焦于行动(Act),仅 5 个涉及预期(Anticipate)和 3 个涉及验证(Verify),物理约束使这些能力难以被任务成功掩盖。 PAPAV 为设计可靠物理智能体提供共同基础,推动对五大能力的独立度量。
论文提出多模态具身智能体(MMEA)及统一能力框架 PAPAV,定义感知、预期、规划、行动、验证五大核心功能。 在 64 个基准测试中,现有评估聚焦于行动(Act),仅 5 个涉及预期(Anticipate)和 3 个涉及验证(Verify),物理约束使这些能力难以被任务成功掩盖。 PAPAV 为设计可靠物理智能体提供共同基础,推动对五大能力的独立度量。
提出 AtomicRL 强化学习后训练框架,利用原子任务结构解决 VLA 模型长程操作中的信用分配难题。 引入语义感知策略优化(SAPO)与瓶颈自适应目标探索(BATE),并构建 Real2Sim2Real 管线连接仿真与真机部署。 在 LIBERO-LONG 上较 PPO 提升 3.6%-4.0%,CALVIN ABC-D 提升 9.5%,真机任务平均性能提升 21.3%。
在 LIBERO-10 机器人操作基准测试中,研究人员构建了统一的闭环操作框架,评估了 6 款前沿 AI 模型在未进行任务特定微调的情况下直接控制机器人的能力。
SP-HLM 提出了一种稀疏姿态驱动接口,结合五个任务关键身体姿态与学习潜在运动先验,以互补形式表示空间意图和全身协调,在模拟和真实机器人实验中提升了运动跟踪、全身协调和 loco-manipulation 成功率。 该框架由 SP-VLA 预测稀疏姿态和手指关节位置,SP-MGM 通过两阶段蒸馏实时重建全身运动,SP-GMT 整合稀疏目标与潜在先验实现全身控制。
研究比较了奖励级、优势级、损失级和 PCGrad 四种偏好评级聚合方式在两种人形控制框架中的表现。结合偏好奖励响应度(PRR)、覆盖率和效用指标评估发现,没有哪种聚合层级能在所有环境和标准下最优。早期聚合增加行为响应范围但引发非目标行为变化,后期聚合提升控制精度但牺牲响应性。
研究人员提出通过增加数据来源多样性而非仅增加样本量来提升机器人零样本泛化能力。 该方案构建共享隐空间结合多模态对齐与生成式增强,并呼吁基于 Origami 机器人建立开发者社区以获取多样化数据。
世界动作模型(WAMs)在泛化性能上因生成式骨干不同而显著分化。研究量化表征先验的干扰正交性,发现高正交性关联更强的视觉变体鲁棒性,使策略泛化可被前瞻性测量。该发现为表征先验如何塑造世界模型泛化性能提供了几何视角。
研究团队发布 PHD-Hand,这是一款完全由连杆驱动且每根手指具备 3 个自由度(DOA)的仿人灵巧手原型。 该设计采用独特的柔性铰链和弹簧钢弹性驱动杆,简化了传动结构,无需大量微型运动部件,可使用 3D 打印机低成本制造。 原型机通过了抓取与物体操作测试,相关运动学与控制发现发表于 Humanoids 2026。
SLoSa 框架通过神经符号压缩与微调,训练出兼具小型化、低功耗及安全意识的基础模型机器人任务规划器。 该框架经 PDDL 领域测试,将 4B-14B 规划器成功率提升至 70.5-76.0%,Jetson Orin 上 INT4 部署平均功耗为 17.85-26.41 W。 实验验证了其在家用模拟与实体机械臂等多样化机器人任务场景中的适用性。
HyperDrone 模拟器比现有 SOTA 快 20 倍以上,支持在消费级 GPU 上以每秒百万帧渲染高保真 3D 场景。该工具基于 HyperLux 光线追踪引擎,完全在 GPU 上运行,输出包括 RGB 和光流在内的多种观察数据。团队将其用于训练视觉策略并成功部署于 Crazyflie 无人机上,论文已被 CoRL 2026 接收。
inr2action 框架将机器人片段存储为固定大小的神经隐式权重增量,解耦了记忆成本与时间跨度。 在 RoboMME 基准测试中,该模型在问答任务中超越随机水平,联合命令回归平均 $R^2$ 达 0.51。 用随机噪声替换增量会导致性能下降 11.4 分,验证了元学习初始化对嵌入片段内容的关键作用。
研究团队通过120种配置分析持续预训练对具身代理的影响。测试涵盖0.8B至27B模型、50至1,600小时数据及5种混合方案。 结果表明:更多数据提升内部表现,多样性增强相关世界迁移,更大模型提高数据效率但降低远距离泛化。
宇树科技创始人王兴兴宣布,自 2024 年 5 月发布以来,宇树 G1 机器人累计生产下线约 1-2 万台,是全球最畅销的人形机器人。 G1 定价 9.9 万元起,体重约 35kg、身高约 127cm,拥有 23~43 个关节电机,支持模仿与强化学习驱动,续航约 2 小时。
特斯拉 CEO 马斯克在 Q3 财报电话会议上透露,计划为 Optimus 人形机器人建造一座"机器人学校"以保障 AI 训练,目标年产 100 万台,预计还需一年或更久;同时介绍 Terafab 芯片工厂项目,计划 2027 年启动设备调试,2028 年 Q2 开启早期量产,初期月产能 10 万片晶圆,后续扩至每月 100 万片。
summary_zh: GPT-6-Astra 作为机器人动作策略,无需机器人专用预训练或每任务微调,在五个 UniVTAC 任务中取得 93.8% 的平均成功率。
CAPSafe 基准发布,评估具身智能体在复杂家庭环境中的行动与规划安全推理能力。 测试包含9个闭源和开源 LLM,发现危险识别(最佳超90%)与长期规划间存在显著差距,Gemini-3-pro 规划安全成功率最高达78.19%。 结果显示,鲁棒的长序列安全推理仍是开放挑战,需进一步突破。
summary_zh: AdaDex 框架利用 Hybrid Dexterous Mimicking 将数秒的人手物体运动轨迹转化为可适应的灵巧技能。 该共享策略在大规模并行环境中训练,结合密集运动跟踪目标与稀疏物体成功奖励。
针对动作条件视频生成模型忽略指令的问题,提出的动作影响最大化(AIM)算法通过主动收集数据提升数据集动作影响。 在像素级操作任务中,3000个演示片段添加500个主动收集片段,其末端执行器可控性相当于30万专家演示片段。 实现85倍的数据效率提升,证明了主动数据采集在提高模型可控性上的有效性。
针对隐世界模型中隐变量包含无信号方差噪声的问题,该方法利用 SIGReg 正则化器拟合的状态动力学矩阵 A,在特征基下将 L2 规划成本限制在不确定性最低的 k 维子空间。 该方法后验校正且不修改编码器或规划器,仅在 2D 导航任务 TwoRoom 和 PointMaze 中,相比普通 L2 成本将成功率最高提升 +54.7 点。
特斯拉 2026 年第三季度财报确认,已在弗里蒙特工厂的大批量产线上启动擎天柱(Optimus)人形机器人生产。马斯克表示,当前产线还需约一年甚至更久才能达成每周 2 万台的年化产能目标。
summary_zh: 特斯拉工程副总裁拉尔斯·莫拉维宣布,公司将于今年年底前开始向客户销售无人驾驶出租车 Cybercab。 目前 Cybercab 全部供给特斯拉自有车队,后续将从小批量交付起步。
无界动力正式发布并开源 MWA™-Phoenix 隐空间世界模型基座,该端侧 7B 参数模型在 LIBERO-Plus、LIBERO-Pro、RoboCasa GR1、Bench2Dex、RoboTwin 2.0 和 RoboDojo 真机榜等六项评测中均取得领先成绩。
Nvidia 在柏林 GTC 大会上发布名为 DSX Pod 的模块化 AI 数据工厂,采用预制集装箱设计,支持 14 天内部署最新 Vera Rubin 计算节点。同时,公司宣布推出全栈机器人技术平台,并与欧洲车企达成自动驾驶领域合作,预测未来软件用户规模将远超传统标准。
推荐理由:Nvidia 在欧洲市场力推模块化 AI 数据基础设施和通用机器人技术,试图抓住当地制造业升级的产业机会。
在 2026 物理 AI 与世界模型大会上,爱思科技展示了 Agnes Harness 框架,该系统能协调机器狗与小车等物理设备执行复杂任务。其核心“双进化”系统通过递归自我改进和测试时训练优化策略与模型参数,在游戏对局中显著提升胜率。
英伟达联合思灵机器人(Agile Robots)发布 Agile ONE SN 人形机器人参考平台,计划 2027 年初推出,面向机器人研究与开发。平台搭载 Jetson Thor(提供 2070 TFLOPS FP4 算力)和 Isaac GR00T,并配备灵巧手,配置时间预计从数周缩短至数天。
轻舟智航凭借单征程6M方案实现9款合作车型上市,覆盖10-20万元主流价格带。该方案以128TOPS算力实现256TOPS体验,累计搭载量超100万台,AEB误触发率低于每50万公里1次。
千诀科技发布预测式世界模型 Polibrain,该模型不追求生成完整未来画面,而是通过学习环境状态与行动结果关系,在潜在表征空间中预测关键信息变化。其技术基础包括比 LeCun 团队相近研究早约一年的多项式表征与因果记忆机制,旨在解决机器人泛化难题并支持不同形态机器人复用同一套智能能力。
推荐理由:千诀科技发布预测式世界模型 Polibrain,展示了不生成画面而主打物理规律预测与跨本体复用的技术路线。
生数科技世界模型团队于10月21日开启Motubrain 2.0训练全流程公开直播,计划持续半个月。 直播内容涵盖预训练、后训练、Agent任务执行及RSI探索四个环节,旨在打开具身模型训练黑盒,展示能力迭代过程。 此举提升了具身智能研发的透明度,为研究者提供规模化训练与跨任务泛化的参考。
禾赛科技公布 6D 全彩激光雷达,将 RGB 与深度信息在芯片级实现原生像素级对齐。 该传感器基于今年 4 月发布的「毕加索」芯片平台,每个像素同时包含颜色、位置和距离信息。 此设计无需二次融合,可减少时空同步误差,提升复杂场景下的感知置信度。
OpenAI旗下风投和Peter Thiel的Founders Fund参与脑机接口初创Coherence Neuro的4500万美元种子轮融资,用于推进其利用脑植入物检测和治疗癌症的技术。
Hugging Face 发布 SimReady Central 库,提供超 2000 个含碰撞、质量等物理属性的 OpenUSD 资产,免费开放给开发者。 该库涵盖机械臂、仓储设备及冷却基础设施,支持 OEM 如 Fanuc、Comau 提交资产,用于构建机器人操作与 AI 工厂数字孪生场景。 开发者可组合资产搭建拣选放置模拟环境,加速物理 AI 训练与布局决策。
NVIDIA 扩展其开放模型家族,涵盖语言、机器人、生物及量子计算领域,旨在支持开发者构建符合本地语言和工业需求的应用。
李斌提出自动驾驶下半场核心验证指标为“用户付费意愿”与“安全感知”。他指出,若用户不愿付费,技术再好也未创造真正价值。 蔚来辅助驾驶里程超91.4亿公里,避免或减轻事故超907万次;四家保险机构评估显示其主动安全系统使事故损失降低38.4%。 该数据支撑蔚来订阅模式可持续性,标志竞争转向商业验证;GB 44721—2026强标实施亦是行业重要节点。
墨甲机器人正式发布首款消费级家庭陪伴人形机器人“墨宝”,开启全球预订。 墨宝身高0.9米,具备22个自由度支持行走,支持20多种语言互动,通过空间感知与FaceID实现家庭成员识别及长时记忆。
何小鹏指出,自动驾驶下半场将发生软件向 AI 模型转变、硬件向全能力耦合转变、法规向全球 L4/L5 探索转变。 新增安全碰撞里程、用户全场景覆盖率、付费比例三大核心指标,以指引体验、安全与收益提升。
宇树科技发布“H2-X 功夫传奇守护”人形机器人,最长续航时间约8小时,可以徒手抬汽车、一脚踢凹车门,还能充当“私人保镖”。 功能名称“功夫传奇守护”为官方命名,核心物理表现包括举重与破坏性交互,定位侧重场景化守护。
万钢在2026世界智能网联汽车大会上指出,随着AI大模型赋能与成本下探,我国L2级辅助驾驶功能在乘用车新车中的渗透率已于2026年上半年突破70%,预计2030年将超过95%。 全国已开放5.7万公里自动驾驶测试道路,累计测试里程超2.2亿公里;相关强制性国标将于2027年7月1日正式实施。
中国电信人工智能研究院(TeleAI)官宣其孵化的首个市场化创新企业“伽马智能”在沪注册,聚焦自进化人形机器人全模型研发。 伽马智能由中电信(上海)人工智能产业私募基金战略投资,李学龙教授任科学顾问,白辰甲博士任首席执行官。公司将依托TeleAI智传网,重点推动全身模型与云端协作。 此举旨在将科研成果转化为产业场景应用,实现机器人在真实交互中持续学习、共享经验并协同完成任务。
提出一种基于 Transformer 自编码器的动作重定向方法,通过可学习的骨架图扁平化捕捉拓扑不变性。 该方法在零样本设置下将全局关节位置误差降低 43-47%,全非监督训练无需配对数据,且在人因实验中被评为运动对齐最佳。 证明了特定架构设计是使 Transformer 在动作重定向领域超越现有几何方法的关键。
机器人策略 KITE 通过解耦本体无关的交互预测与本体特定的运动学解码,实现了零样本跨本体操作。 该方法利用源机器人演示数据训练交互策略,并仅基于目标本体的运动学模型生成合成数据进行解码,无需额外任务演示。 KITE 在平行夹爪、灵巧手及复合本体间成功迁移,且性能 consistently 优于现有最先进基线。