Flow Control:通过简单实时输入引导视觉语言动作模型
提出 Flow Control 方法,利用键盘等通用输入实时引导 VLA 模型动作。该方法无需微调或重新训练,可将用户输入写入流匹配动作专家初始条件。 用户可显著提高任务成功率并加快完成速度,同时保持生成动作对未引导策略的高一致性。
提出 Flow Control 方法,利用键盘等通用输入实时引导 VLA 模型动作。该方法无需微调或重新训练,可将用户输入写入流匹配动作专家初始条件。 用户可显著提高任务成功率并加快完成速度,同时保持生成动作对未引导策略的高一致性。
DEFLECT 是一种离线后训练框架,通过利用预测与执行时刻的观测差异生成偏好监督信号,提升视觉-语言-动作(VLA)策略在异步推理下的延迟鲁棒性。 该框架在 Kinetix 和 LIBERO 基准测试中,分别在支持的最大延迟下比 VLASH 提高 4.2 个百分点,比 GR00T N1.7 的朴素异步执行提高 22.7 个百分点成功率。
研究团队提出EMMA框架,结合生成式数据引擎与训练流水线以增强视觉-语言-动作模型鲁棒性。 DreamTransfer基于扩散Transformer生成多视角一致视频;AdaMix策略自适应加权困难样本。 真实机器人零样本任务中,该框架性能比仅用真实数据训练提升超92%,结合AdaMix额外提升17%。
论文提出G Gibson Virtual Environment,旨在解决具身智能体在物理世界中学习缓慢且成本高昂的问题。 该环境通过虚拟化真实空间而非人工设计场景,目前包含572栋完整建筑的1400多个楼层空间。 内置Goggles机制可支持模型直接部署到真实世界,无需进一步的域适应,体现了智能体受物理和空间约束的具身特性。
UniWALM 提出统一的世界-动作-语言模型,通过共享表征同步解码子任务、文本记忆和动作。 该模型采用 Mixture-of-Transformers 骨干网络,各模态扩散头协同去噪,引入 Flow Matching with Correction (FMC) 提升动作流可靠性。
Industrial ReMEmbR 扩展 NVIDIA ReMEmbR 至机器人集群,通过按需生成场景描述降低服务端计算成本。 系统利用 Jetson 编码视频,结合 Cosmos-Embed1、Cosmos3-Edge 及 Wan2.2 VAE 生成嵌入与视觉 token。 设计消除写入时字幕生成,450 次测试中缓存 token 解码复现了未分割模型的输出。
SceneRig是一个将单张图像转化为可编辑、仿真就绪3D场景的智能体系统。 该系统结合几何、视觉和物理工具进行场景重建,并通过物理模拟器内的“编辑-验证”循环确保物理稳定性。 其场景能更准确预测真实机器人策略结果,并支持记录操作的可靠重放,已被CoRL 2026 Agentic Robotics Workshop接收。
REACT框架通过VLM引导的接触建模和生成式伴侣状态建模,解决双足机器人-人类交互中的严重部分可观测性问题。该方法在模拟环境和真实Unitree G1机器人上完成五种富接触交互测试,其中生成式伴侣状态建模在四种交互中显著提升了接触召回率,尤其在重度遮挡情况下表现突出,且完全依赖板载传感实现部署。
针对世界-动作模型在长时程操作中因阶段混淆导致生成错误未来的问题,研究者提出闭环框架 TaskWAM。 TaskWAM 利用 Mode Tokens 表征任务需求、State Tokens 追踪执行进度,并在 StageBench 基准中验证了其降低混淆的效果。 该方法具备即插即用特性,可迁移至单臂、双臂及人形机器人等异构系统。
DirectWAM 利用动作充分蒸馏将级联世界动作模型转化为单步预测器,在保持显式未来到动作级联的同时消除随机采样。 模型在 LIBERO 四个套件上平均成功率达 97.1%,RoboTwin 2.0 成功率 85.4%,超出 Flash-WAM。 相比完整迭代教师模型,推理延迟降低 28.0 倍。
HuTact 提出利用大规模人手-物体交互数据预训练触觉感知手表示,无需真实触觉信号即可迁移至机器人。该框架在抓取预测任务中仅用 25% 标注数据配合 88.26% Macro-F1 指标,与使用全量数据从头训练持平。 人类交互数据可作为机器人触觉表征学习的高效互补来源,显著提升了下游任务的数据效率。
CovNav提出一种免训练的保形预测框架,将目标导航中的空间查询转化为二元决策。 在HM3D v1和v2上,其成功率分别超过最强零样本基线0.8和1.7个百分点,且仅对12.4%的查询调用慢速推理。 该框架通过校准不确定性决定何时进行慢思考,为基于LLM的机器人提供了自适应测试时推理原则。
单颗头戴相机(122 美元)替代腕部相机及位姿追踪器,配合无电子元件手套(22 美元)实现 6-DoF 位姿抓取。 在机器人部署时,同款相机安装于 120 美元机械臂上模拟采集者头部视角。基于该方案训练的模型在 25 次试验中成功 20 次,优于腕部相机方案的 15 次。
研究团队提出 SCAMPER 系统,通过结合运动先验和行为先验,首次实现虚拟大鼠在目标导向行为和随机探索中均产生自然运动。 该系统采用变分架构,利用行为先验产生的多样化运动支持稀疏奖励学习,模拟神经科学实验任务。 SCAMPER 为神经 AI 社区提供了在真实任务上训练啮齿动物具身模型的新系统。
该专著构建了物理AI统一框架,将其定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的系统。 专著共388页、64张图,涵盖多模态感知、世界模型及具身基础模型,并重点探讨Sim-to-Real迁移、可靠性与评估等核心问题。 旨在推动从窄域自动化向可泛化物理AI及物理AGI发展。
前Nvidia产品营销经理、Techable Ventures创始人Amulya Vishwanath表示,机器人领域的“ChatGPT时刻”尚未到来,行业目前处于“乐高时代”,正重构基础软件与构件。
Momenta CEO 曹旭东在 2026 物理 AI 大会上预判,2028 年将成为 L4 规模化落地的重要拐点。 他提出“智驾摩尔定律”,指头部企业 2026-2028 年有望实现指标每年提升十倍;驱动力包括世界模型、Data Scaling 和 Model Scaling。 Momenta 累计交付超 130 万台,其关联公司新芯航途的 X9 芯片将支持端侧模型规模扩大 100 倍。
英伟达CEO黄仁勋提出“物理AI”是下一波AI浪潮,旨在让AI理解物理定律以征服制造业、物流等实体产业。英伟达正通过Omniverse平台与Project GR00T机器人参考系统,构建从虚拟仿真到现实部署的生态,以解决Sim-to-Real跨域难题。文章认为,国内企业凭借硬件供应链规模化制造与成本控制能力,有望在全球物理AI落地中占据重要底座地位。
宾汉姆顿大学研究团队展示了名为 MuTRAP 的 LLM 后门攻击,该攻击通过插入隐藏触发词,使基于 LLM 的机器人任务规划系统偏离指令,例如让割苹果的移动机器人去切割人体模型。为应对此风险,团队开发了名为 PROTEA 的 LLM 防御机制,通过逐步评估任务计划中的每一步动作是否安全来阻止恶意行为,研究论文发表于 2026 年 IEEE/RSJ 智能机器人与系统大会。
AWS 发布了开源物理 AI 工具链用于机器人领域。该工具链旨在支持物理 AI 的开发与应用。
VAST 开源实时生成式渲染器 EdenLive,其架构将游戏状态逻辑与视觉渲染解耦,模型仅负责根据上游状态实时生成画面。EdenLive 支持 5B 和 14B 模型,5B 版本在 RTX 5090 上可实现超 24 FPS 的 720P 实时生成。团队同时开源了 EdenGolem 智能体,用于辅助生成 3D 灰盒游戏。
推荐理由:文章解析了 EdenLive 实时生成渲染器的三层架构分工逻辑,展示了其在游戏交互中的实际应用。
NVIDIA 发布 Cosmos3-H-Dreams,这是一款基于临床胆囊切除术视频训练的实时生成式手术模拟器。该模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano 构建,通过 FlashDreams 加速流式推理,可支持单张 NVIDIA RTX PRO 6000 GPU 实时运行。
推荐理由:展示了在单张高端GPU上运行实时手术生成模拟器的技术路径,为具身智能提供了具体的工程参考。
乌克兰军队使用六旋翼重型无人机成功从战场撤出一名受伤士兵,该行动在因俄罗斯无人机和地雷威胁导致地面机器人无法进入的情况下实施。 士兵通过安全带固定在无人机下方吊挂装置中,视频显示其被安全转移。 此次行动发生在乌克兰用于伤员转运的无人机系统部署前线测试之后,标志着战场需求推动技术创新的又一例证。
华为 openJiuwen 团队发布 Jiuwen Symbiosis 物理智能体,成功打通大模型与底层物理设备交互,实现自动化科研落地。 该系统基于“感知—规划—执行—反馈”闭环,通过动态编排适配异构设备集群,并具备可回放轨迹分析能力。 Jiuwen Symbiosis 内置安全护栏机制确保操作边界,代码已在 AtomGit 及 GitHub 开源,支持社区共建。
Waymo 宣布计划 2027 年在西班牙推出完全自动驾驶网约车服务,首站是马德里。公司称搭载电动动力系统的捷豹 I-PACE 车辆将在未来几天出现在马德里街头,在正式运营前由专业人员驾驶,并会按照西班牙交通总局(DGT)的框架开展业务。
由MIT教授Pulkit Agrawal和前Google DeepMind研究员Tuomas Haarnoja创办的机器人初创公司Eka完成1.5亿美元A轮融资,投后估值达14.5亿美元,由a16z和F-Prime领投。该公司基于力-视觉-动作模型开发了具有力感应灵巧手的机器人,每小时可抓取约1500个物体,成功率超过95%,远超人类水平。
宇树科技发布股票交易异常波动公告,因股价连续三个交易日累计涨幅偏离值超 30%。 公告指出人形机器人行业处于商业化早期,技术成熟度及市场需求存在不确定性。 截至 10 月 20 日公司滚动市盈率 388.25 倍,远高于行业平均 39.51 倍,提醒投资者注意估值回归风险。
2026科大讯飞全球1024开发者节科博展于10月22日在合肥启动。 展区展出讯飞星火X2.6及“飞星平台”,后者基于昇腾生态支撑万亿参数模型训练。涵盖智慧座舱、AI眼镜及脑机接口康复系统,并开放实验室供公众探访。
大晓机器人发布ACE-Brain-0.6,六项Grounding评测超越GPT-6 Astra,七项公开基准平均分74.53分领先其73.68分。 基于Qwen3.5-9B构建,利用约百万条可验证空间锚定样本,通过数据规模化探索实现能力跃升。 验证了9B级模型在具身空间感知领域可超越顶级通用模型,推动具身智能向可靠物理执行转化。
山东省“十五五”旅游规划明确探索“具身智能+旅游”落地应用,支持山岳型景区投放登山助力机器人。 规划同时提出依托文旅科技平台打造“人工智能行程助手”,并支持景区部署数字人讲解员及运用 AIGC 技术。
拓斯达在 TOPS DAY 2026 全球开放日集中发布多款新品,首发工业具身智能解决方案,包括轮式人形机器人搬箱码垛与人形双臂机器人异形件分拣。 AI 柔性分拣工作站配方换产最快 5 分钟完成,数据采集矩阵支持老设备升级,定位精度控制误差小于 0.25%。 同步推出人形机器人零部件加工及 AI 产业链精密注塑解决方案,瞄准 AI 算力基建需求,助力企业承接精密制造增量市场。
荣耀自研人形机器人“闪电”与马拉松运动员萨维、越野跑运动员赵家驹完成首次线下同框互动。 “闪电”曾在半马中以 50 分 26 秒夺得冠军并打破人类半马世界纪录,荣耀机器人包揽该赛事前六名。 此次同框展示了人类与智能科技在长跑领域的跨界融合与极限突破。
AffordanceWAM 引入感知意识生成式世界动作模型,通过标量感知和感知热图联合预测未来 RGB 观测、标量感知场、感知热图及连续机器人动作。
GemNav利用多模态大语言模型,将机器人导航路径点映射为离散度量值箱的类别分布,从而高效适配机器人导航。 该策略仅在8.7小时的公开SCAND数据集上训练,数据量比竞对小三个数量级;实验显示其分布外泛化能力和避障可靠性显著优于连续回归头。 同一策略无需针对平台重新训练,即可迁移至未知环境和三种物理构型不同的机器人平台。
EDITH 是一个机器人框架,通过智能眼镜捕获第一视角视觉、视线和语音流,使机器人能理解非语言意图。 系统采用分层策略,高层策略推断意图并生成子任务,底层策略执行;该框架显著降低了用户传达意图的负担。 项目页面已开源源代码并提供真实机器人演示视频。
VLA-Pro 提出一种即插即用框架,通过存储和迁移任务相关程序记忆增强 VLA 模型的跨任务泛化能力。 该框架在训练时存储任务特定的 LoRA 适配器作为参数化程序记忆,推理时基于多模态上下文检索并动态融合记忆以生成动作。 实验显示其在 RoboTwin、RLBench 及真实场景中提升显著,模拟环境相对提升最高达 207%,真实成功率从 5.8% 增至 65.0%。
BioProVLA-Agent 提出了一个低成本、协议驱动且视觉增强的具身多智能体系统,用于生物实验室操作。 该系统通过 LLM、VLM-RAG 和 VLA 智能体实现闭环工作流,并开发了 AugSmolVLA 在线增强策略以应对透明器皿和光照干扰。 在涵盖 15 个原子任务等基准测试中,其在正常和高曝光设置下比 ACT 和 X-VLA 更具执行稳定性。
因果场景叙述(CSN)方法通过在推理时重构视觉-语言-动作模型的文本输入,在 CARLA 测试中使 LMDrive 模型的驾驶得分相对提升 31.1%。 CSN 利用意图对齐和定量接地技术实现零 GPU 成本优化,在 8 个城镇、16 条路线的多轮评估中验证有效。其收益主要来自信息内容重构,且在感知噪声下保持稳健。
EVA 框架利用动作空间反馈解决视频生成模型的“可执行性差距”,提升机器人动作生成的视觉完整性与动作可行性。 EVA 冻结在机器人演示上训练的逆动力学模型(IDM)解码动作,并通过强化学习更新视频生成器以惩罚非平滑运动及速度、加速度违规。 在 RoboTwin、LIBERO 及真实双臂机器人上的实验表明,EVA 减少了视觉伪影并提高了任务成功率。
提出 Stellar VLA 框架,通过无参数增长的知识驱动方法解决视觉语言动作模型的持续学习挑战。 包含 T-Stellar 和 TS-Stellar 两种变体,联合优化任务表示与自进化知识空间,利用 Top-K 语义嵌入进行专家路由。 在 LIBERO 基准上仅需 1% 回放即超越基线,双机械臂实验验证了跨本体知识迁移能力。