SOUL:通过稀疏特征策略遗忘缓解视觉-语言-动作模型的状态幻觉
视觉-语言-动作模型在机器人操作中存在状态幻觉问题,即假设未实现的物体状态已完成。研究提出SOUL方法,通过稀疏自编码器识别与幻觉相关的特征,选择性遗忘这些错误策略知识。在模拟和真实环境实验中,该方法显著减少了幻觉失败并提高了任务成功率,未损害现有操作能力。
视觉-语言-动作模型在机器人操作中存在状态幻觉问题,即假设未实现的物体状态已完成。研究提出SOUL方法,通过稀疏自编码器识别与幻觉相关的特征,选择性遗忘这些错误策略知识。在模拟和真实环境实验中,该方法显著减少了幻觉失败并提高了任务成功率,未损害现有操作能力。
研究者提出通用物理 AI 数据策展工具 Kuration SDK,发现 FVD 等指标与游戏可玩性不匹配,证实存在“虚拟至现实差距”。 该工具在 CounterStrike 游戏数据实验中,通过分析诊断属性,揭示了两个世界模型表现差异的根本原因,而仅靠 LPIPS 和 FVD 分数无法解释此现象。
summary_zh: MimicX 提出一种策略在环框架,利用执行反馈优化视频驱动的人形机器人运动跟踪。 在四项核心任务中,相比固定参考基线,人体跟踪误差降低 25.7%,执行时程提升 255.6%。
论文提出 PhysEvo 框架,通过元智能体诊断故障并修订工具,在不更新冻结模型权重的情况下提升机器人操作能力。 在 42 项 RoboDojo 任务中,PhysEvo 平均得分 68.14/100,成功率 62.00%;在 8 项高难度任务中成功率达 55.00%,优于直接 Astra 基线。 该框架在真实世界 5 项任务中实现 84.00% 成功率,证明物理递归自我改进的有效性。
针对深空任务无法依赖地面实时支持且初始警报因果不明的困境,研究提出一种证据驱动的人-智能体-机器人协作架构。 该架构将 Agentic AI 作为有状态协调器,通过分诊状态管理器维护假设与证据溯源,并结合 Reachy Mini 和 Innate MARS 移动机器人获取局部证据。
研究者发布 RoboJEPA,这是首个在真实机器人数据上建立多具身世界模型缩放定律的工作,参数规模达 8B。 该模型基于 Joint Embedding Predictive Architecture (JEPA),在涵盖 12 种机器人具身的大规模数据集上训练。 RoboJEPA 的想象误差遵循算力的高阶幂律,可作为真实机器人评估的可靠代理,并能零样本部署为机器人智能体。
EmbodiedRSI 采用快慢双系统架构,通过假设图维护代码与技能假设,在 RoboCasa365 上取得 77.0% 总体成功率,LIBERO-Pro 达 86.8%。 快系统执行价值信息实验选择物理交互,慢系统构建层级记忆并基于奖励引导学习优化后续改进。 该框架支持零样本迁移至真实机器人,在多个高难度任务中实现 71.3% 总体成功率,降低了对昂贵遥操作数据的依赖。
SearchWorld提出一种循环状态空间世界模型,通过结合显式空间记忆与价值引导想象,提升无人机在部分可观测环境下的前瞻性规划能力。 在UAV-ON基准测试中,该模型将物体搜索成功率提升至23.8%,优于最强已发布智能体的19.5%,未见过场景下成功率为19.9%。
RT-Safe 是一个模拟城市基准,用于评估实时约束下具身智能体安全性,在八种 VLM 测试中,最严苛场景下仅 0.7% 的回合无安全事件完成。 该基准发现实时执行使碰撞率增加 12.3 倍,而任务完成率高达 91.3% 至 94.1%,揭示任务成功可能掩盖严重安全缺陷。 RT-Safe 支持离线强化学习训练,能显著降低碰撞率并保持高任务完成率。
summary_zh: PAIR 框架通过共享感知-动作表示,在 LIBERO-Plus 上将 VLA-Adapter 成功率从 59.1% 提升至 64.2%,在 CALVIN 上将完成序列长度从 4.42 提升至 4.53。
GAF 利用 2.735M 参数的 critic 引导 0.45B VLA,在 6 个任务中成功率从 60.0% 提升至 82.5%。 其在复杂光照和干扰条件下将成功率从 34.2% 提升至 49.2%。
SimToolReal 通过程序化生成多样化工具状基元并训练单一 RL 策略,实现了零样本灵巧工具操作。 该策略在测试时无需针对特定物体或任务进行额外训练,超越了现有固定抓握方法 37%,并在 120 次真实世界中 24 项任务上表现出强泛化性能。
Ego2World基于HD-EPIC数据集将第一视角烹饪视频转化为受图转移规则控制的符号世界,以评测具身智能体在部分观测下的规划能力。智能体仅依赖局部观测和执行反馈,在隐藏符号世界图上规划,避免假设完全可观测状态。实验显示动作重叠分数高估物理状态成功,持久信念记忆提高了任务完成并减少了重复视觉探索。
深度世界模型 DepthWorld 联合预测多视图 RGB 和深度,基于 Stable Video Diffusion 架构,在 DROID-3D 数据集上训练。
EgoLAP 利用第一视角人类数据训练 VLA 模型,实现 80.1% 的真实任务进度,性能提升 2.3 倍。 该框架将运动意图转化为结构化语言动作,并结合场景几何与物体可供性进行运动级推理,优于复合推理格式。 此方法有效缩小了人类与机器人间的体现差异,提升了控制策略的可迁移性。
研究团队提出包含624个实例的 HygieneRoboBench 基准,用于评估家用人形机器人在接触污染物体后的卫生感知规划与安全执行能力。 该基准结合受控历史、配置文件和事件比较,评估任务在用户优先级下的安全解决与成本效率。 为优化规划效果,研究引入结合 LLM 基础、接触历史重建和 CP-SAT 的 Hygiene-NSP 规划器,其在完整数据集上实现了94.4%的安全解决率。
summary_zh: CropSentry 是一种低成本地面多机器人系统,通过多模态叶片感知连续监测农作物胁迫水平,解决传统技术对中小规模农户过于昂贵复杂的问题。
SufficientPlan 框架在视觉世界模型中显著降低搜索预算与规划延迟,同时保持竞争性任务性能。 该框架通过 PSBC 组件认证特定模型-任务的缩减预算,利用 SCR 组件在搜索迭代中复用静态上下文,无需修改预训练模型。
VOMMI 提出了一种基于视觉里程计(VO)条件的移动操作接口,用于连接便携式 RGB 演示数据与 VLA 模型的离线轨迹重建及在线视觉-运动条件学习。该框架通过 R2-VO 使用稀疏几何锚点优化离线轨迹,生成因果局部运动 token,且无需人机运动学对应校准。
论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。
SMART 提出大规模合成演示用于铰接物体操作,解决真实数据收集难题。 包含 SMART-Sim 仿真平台、SMART-Data(超 100 万条演示、44 种原子任务、5 种机器人构型、2507 个铰接物体)及预训练 VLA 模型。 实现零样本 sim-to-real 迁移,展示合成演示在富接触铰接操作中的可扩展监督潜力。
OpenSplatGraph 提出统一框架,直接从在线 Gaussian 开放词汇语义图构建持久 3D 场景图。 框架引入可靠性感知语义场以提取置信度感知的对象实例,支持语言引导的对象定位和结构化关系推理。
RoboCap 平台推出了 250g 六摄像头双 IMU 帽子,用于解决第一视角机器人操作数据稀缺问题。 该硬件结合 Grounded API 的 3D 算法,在 SLAM、深度估计及手部追踪等公开基准上实现了 SOTA 性能。
该框架利用视觉语言模型(VLM)指导Unitree G1机器人和NVIDIA Sionna进行电磁数字孪生在线校准,解决材料电导率随环境变化的问题。 在真实室内场景中,该框架在20米行程内实现归一化平均绝对电导率误差为$1.74\times10^{-4}$。随机初始化无法收敛,而随机航点规划所需行程超过两倍以上。
VeriFine框架通过策略、训练课程和评判者的共同进化,扩展了具身推理中的验证规模,克服了固定评判者对自我改进的限制。该框架包含策略改进循环,使用评分标准评判者诊断失败并优化策略;当进展停滞时,评判者改进循环通过人机协作校准解决分歧,提升评判能力。在驾驶和机器人导航任务中,实验显示策略和评判者能力在强化学习与微调中持续自我改进。
AssemState 提出零样本家具组装框架,通过锚点引导分解说明书操作并恢复组装树。在组装树恢复任务中,该框架将 F1 分数从 38.58% 提升至 62.80%,Tree Exact Match 从 28.24% 提升至 53.92%。
EMHO 提出一种冻结具身模型、仅通过迭代修订 agent harness 实现自我进化的框架,支持在稀疏环境反馈下直接提升系统性能。 该框架通过解析执行轨迹与历史 harness 数据,优化智能体的进度监控、视觉工具使用、观察接地及失败响应机制,并引入 EMHO-Merge 处理多子任务间的权衡。
研究团队提出 Sensor-Language-Action (SLA) 建模框架,并发布 OpenSLA 模型,旨在统一多模态传感器观测、自然语言与动作。 SLA 基准涵盖 116,000 多名个体、79 种传感器模态及 60 个动作组。OpenSLA 在临床预测等任务中表现优于最先进方法,并支持零样本泛化。
PIP 框架在 Burrito-PO、Overcooked-PO 及 Melting Pot 基准中取得最高平均性能。 该方法结合 Joint-view VAE 与伙伴状态信念网络,从本地观察中推断隐藏状态与行为倾向。 人类评估证实 PIP 支持在伙伴被遮挡时与未知伙伴有效协调。
具身智能体在长时程任务中因目标状态变化易失效,研究提出 Attacca 方法。该方法通过上下文解耦目标采样和密集当前视图定位,结合行为阶段条件控制解决目标丢失问题。在 Minecraft 评估中,Attacca 在长时程任务上完成率达 54%,较最强基线提升最高 7 倍。
GroundAct 将实体及其交互定义为自动驾驶推理的“扎根”单元,通过轻量参考 token 使实体连续状态在符号推理中可寻址。该方法在开环与闭环设置中评估,在正常、分布外及安全关键场景下展现强劲的开环规划能力。
该研究实现了一种无需导航图或全景视角的连续环境视觉语言导航(VLN)模型的 Sim-to-Real 迁移。 系统采用 Cross-Modal Attention 架构,在仿真环境预训练后,使用自建 Ackermann 转向机器人收集的少量真实数据微调,通过线性光度调整实现离线导航。 实验通过 SPL 和 nDTW 指标验证了该方法在真实环境中的鲁棒性与适应性。
小鹏集团 Robotaxi 正式定名为“小鹏悠游 XPENG YOYO”,“小鹏 YOYO 自动驾驶”小程序同步上线。用户可通过小程序远程调节车内温度、香氛并预选音乐风格,内测名额正在开放。该车型目标在明年实现无安全员载客运营,广州业务预计 2027 年下半年实现单车盈亏平衡。
据 The Information 报道,英伟达正在讨论向人形机器人公司 Figure 追加 10 亿美元投资,Figure 投前估值约为 380 亿美元。黄仁勋担忧 AI 需求降温或出现替代芯片,计划借助公司 990 亿美元现金储备投资开发 Nemotron 模型及 AI 应用的初创企业,以降低对 OpenAI 等头部大客户的依赖。
推荐理由:英伟达拟通过加注 Figure 和投资初创企业来分散客户依赖,反映了黄仁勋试图巩固 AI 市场主导地位的避险策略。
优必选与一汽-大众达成战略合作,共同推进具身智能机器人在物流场景的开发测试。 此前 Walker S Lite 已在一汽-大众青岛工厂完成车辆质检实训,本次合作旨在向物流场景拓展。 工厂年规划产能超万台,优必选 2025 年营收达 20.01 亿元,居全球人形机器人公司之首。
前字节跳动实习生田柯宇创办世界模型创业公司,公司未公开名称但获近3000万美元融资,投后估值2亿美元。该公司由五源资本和IDG资本等机构投资,团队规模10人。田柯宇计划利用其NeurIPS 2024最佳论文技术,为AI设计专门处理视觉内容的符号语言,目标将生成1秒视频的成本降至原来的十分之一。
Axiom 的三名工程师使用 OpenAI 的 GPT-6 Astra 等通用大模型,连接车载摄像头和转向系统,成功驾驶 2024 款丰田卡罗拉通过 In-N-Out Burger 取餐窗口。
推荐理由:原文展示了通用大模型通过多模态能力驾驶实车的尝试与局限,揭示了物理世界交互中的安全风险。
summary_zh: AI 数据公司 HUMXN 启动项目,通过免费提供合格家庭服务换取真实世界技能劳动数据,用于训练 AI 和机器人。 技师佩戴可穿戴捕捉设备记录工作过程,HUMXN 将其转化为结构化的感知、决策和工具使用数据集。
Multiply Labs 完成 7500 万美元 B 轮融资,总融资额突破 1 亿美元。 NantWorks 领投,AstraZeneca、Lux Capital 和 Founders Fund 参投,资金驱动物理 AI 热度。 其机器人专门制造基因疗法和 mRNA 疗法等复杂药物,CEO 强调 AI 可发现药物但需实体机器人生产。
研究提出基于 DINO 残差学习残差隐式动作(RLA),并构建 RLA-WM 模型预测视觉特征。 RLA-WM 通过 flow matching 预测 RLA,在模拟和真实数据集上性能超越 SOTA 视觉特征及视频扩散世界模型,速度比视频扩散快数个数量级。 该方法支持无动作视频训练,提升了 LIBERO 及真实机器人上的 VLA 策略学习效果。