ADAPT:基于音深动作规划与过渡感知奖励的熄灯工业导航框架
提出 ADAPT 音频-深度动作规划框架,通过强化学习实现无光照(RGB-free)工业环境导航。 核心贡献为过渡感知奖励塑形(TARS),并建立含 24 个场景的 DarkNav-Bench 评测基准。 在未知场景中,Clean 条件下成功率达 90.6%,Localized Noise 条件下保留 60.0%。
提出 ADAPT 音频-深度动作规划框架,通过强化学习实现无光照(RGB-free)工业环境导航。 核心贡献为过渡感知奖励塑形(TARS),并建立含 24 个场景的 DarkNav-Bench 评测基准。 在未知场景中,Clean 条件下成功率达 90.6%,Localized Noise 条件下保留 60.0%。
研究人员发布名为 Words to World 的基准,用于在闭环物理交互中评估 LLM。该基准测试包含机械臂、摄像头和传感器,模型需根据物理反馈调整行动,超越静态文本响应。 实验揭示了 LLM 在将语言推理转化为物理行动时的共同失败模式,包括幻觉状态变化、从意外结果中恢复能力差以及长期计划不稳定。该基准旨在为评估连接语言、工具和物理世界的 LLM 提供系统基础。
研究提出自监督框架 DySCOVER,通过预测性好奇心驱动机器人主动收集经验,提升视觉学习效果。 框架包含视觉自编码器和循环世界模型,策略仅由内在奖励训练。预测误差引导策略生成复杂轨迹,补充纯视觉新颖性带来的观察局限。 实验表明,预测性好奇心在所有测试变体中一致改善了视觉学习,超越了仅基于重建的好奇心机制。
智身科技利用豆包工作搭建园区巡检方案,员工仅需下达“去办公室巡检一圈”指令,系统即可自动生成路线并下发任务。机器狗通过 MCP 接口执行巡检,豆包工作自动识别现场异常,生成含风险等级的记录写入飞书多维表格,并推送给负责人。系统还能自动汇总数据生成巡检周报,降低操作门槛。
自动进化视觉界面机器人智能体的 Harness 时,优化智能体每轮可见的 rollout 数量及选择机制决定泛化能力。 训练批处理从 5 增至 100 可提升留出成功率;小批处理导致过拟合,且无条件接受修订会降低性能。 结合预训练策略后,在 RoboCasa365 基准上达到 71.2%,比最佳公开结果高 13.1 分。
提出名为 FACT 的 Agentic 框架,用于逐步构建铰接双胞胎资产,提升几何、接触及动态保真度。 该框架驱动证据-诊断-修订循环,通过特征规划重建可编辑几何,并修复碰撞代理。 实验表明,FACT 相比基线改善了几何重建,并更准确地复现物理响应。
GenCoord提出去中心化协议,将任务分工本身作为通信消息。在Minecraft中,0.8B本地智能体任务成功率持平自由对话,但中位承诺时间减少68.2%。 同一DeepSeek模型下,该协议生成token量仅为对话式协议的1/2.8,多步承诺将未见模板成功率从91.3%提升至98.1%。
MC-EvoBench 是面向 Minecraft 环境驱动自我改进的受控评测基准,包含 19 条注册进化链(12 条主评估链、7 条校准或探针链)及 3 组对齐成对探针家族。 每条探针在匹配环境步数预算与 5 个种子下评估无先验、相关、不相关与打乱源条件,指标包括 TSR、WGP、VMP;审计显示相关经验未带来稳定迁移效应。
LAPT-Scale 范式利用 2.33 万小时第一人称人类视频,通过连续潜在动作预训练扩展通用机器人策略。 该方法结合 VLA 策略与感知对齐信号,将真机任务成功率从 63.3% 提升至 85.0%,并实现向未见视觉条件的泛化。
RESCUE 框架通过 128,340 个反事实分支,评估机器人 VLA 策略监控器的报警是否有效。 在 OpenVLA-OFT 和 $\pi_{0.5}$ 模型上,14 至 34 个失败案例存在可恢复检查点;理想检测器的误报率需低于 2.0%–3.3%。 结果证明监控价值取决于可用干预措施及部署工作负载。
视觉-语言-动作策略引入 Action-Future Coupled Effect Learning(AFCE),将未来物理效果作为主要预测目标。 离线分词器构建 Effect tokens,Flow-matching VLA 预测 Effect 后经解码器生成动作。 在 DexJoCo 上整体成功率 50.97%,较 pi0.5 和 UVT 分别提升 11.82 和 15.21 个百分点。
LeWAM 是一种端到端 Joint-embedding predictive architectures (JEPAs) 控制系统,通过联合训练目标与等向高斯约束实现直接策略执行与规划。
MAGMA-Bench 发布了一个架构无关的基准,用于评估动态多机器人环境下的长程具身智能体。 该基准包含 261,646 个任务级训练示例,并测试了在线扰动、异构机器人协调及执行故障。 评估显示,即使在无扰动的干净集分中,最强模型也有大量失败,且在线扰动下成功率进一步下降。
AlphaNIST 在 NIST 装配任务板 #1 上训练单一策略,未使用演示或进度整形,整体训练成功率达 98.2%。该框架支持在单集内完成 10 对装配,仅在全部完成时给予奖励,策略自发发现了灵巧抓握和规划行为。
研究团队推出首个具身模拟基准EmbodiedCLBench,通过组合泛化原理评估自演化智能体的持续学习能力。 该基准测试智能体能否先学习基础任务再重组技能解决复杂未见任务。实验发现基础任务经验能带来稳定改进,但效果不随学习样本数量增加而提升,当前智能体无法从额外经验中提取有意义信息。 这凸显持续学习是具身环境中自演化智能体的基础但未被充分探索的能力。
提出 OGPO 框架,通过离线目标条件策略优化实现 VLA 模型的可恢复后训练。 OGPO 利用语义关键状态自适应重标记轨迹并构建目标条件过程奖励,将后训练从轨迹级动作模仿转变为关键状态可达性学习。 在 LIBERO 和 MetaWorld 实验中,OGPO 一致提升了 VLA 策略性能,并在 LIBERO-ReAct 扰动基准下展现出更强的鲁棒性。
DRIFT 通过攻击首个去噪步骤,在 pi0 和 pi0.5 模型上破坏了 LIBERO 套件中几乎所有原本可解决的任务。 该攻击作为一种测试时通用对抗补丁,施加在机器人夹爪上,其效果远超动作空间和嵌入空间的攻击基线。 这种仅攻击第一步既更强又更省的方法,揭示了输入空间优化中独特的梯度冲突现象。
RoboMME-Interference 是一个跨会话基准,基于 RoboMME 构建,专门测量机器人在长上下文和存在干扰会话时的记忆性能。 测试显示,感知记忆变体随着无关会话累积,其表现会显著且持续地下降;而次目标变体保留改进的效果更好。 该研究强调了长上下文记忆和抗干扰鲁棒性的重要性,并指出当前系统在这些能力上普遍表现不佳。
研究人员提出 w²VLA 模型,通过重组信息流将 VLM 编码器输出中的陈述性概念与程序性技能解耦。 该模型以可解释的模块化方式调节机器人状态序列,取代了不透明的 Transformer 动作专家结构。 实验显示 w²VLA 在行为克隆和跨未见物体的零样本技能迁移上具有前所未有的能力。
HumanX 框架通过 XGen 和 XMimic 将单目视频编译为人形机器人可泛化交互技能,无需逐任务奖励设计。该框架在篮球、足球等五个领域习得 9 种技能,并零样本迁移至 Unitree G1 机器人。实验表明 HumanX 在可锚定交互类别中实现了比现有方法更高的泛化成功率。
提出 VLA-FAIL 框架,通过结合 LLMD 和 ACC 两种轻量级检测器实现视觉语言动作模型的失败检测,无需失败数据且开销极小。 LLMD 利用最后一层特征测度分布外状态,ACC 利用后退视界控制的时间重叠检测动作块不一致,两者结合能可靠且早期检测多种失败模式。 该框架在真实与模拟实验中优于更昂贵的基线方法,已被 CoRL 2026 接收,为安全部署提供新方案。
FactoryNet 是一个包含 11300 万个数据点的工业时序预训练语料库,覆盖 7 种本体和 4 项任务。 该数据集统一映射为 S-E-F-C 控制理论架构,研究证实其支持跨本体迁移学习,且在无真实标签时可恢复约三分之二真实数据性能。 FactoryNet 已作为工业基础模型的多本体基础资源开放发布。
论文提出 Dream to Remember (D2R) 方法,通过持续引导冻结的通用机器人策略应对新任务,并利用预训练世界模型进行想象排练以避免灾难性遗忘。 在 CALVIN 基准上,D2R 在纯想象环境下将 8 个连续任务的平均成功率从 63.7% 提升至 74.8%,显著优于 LoRA 微调导致的 11.7% 衰退率。
summary_zh: SmolWAM 是一个 2B 参数的潜空间世界动作模型,从 Cosmos Policy 蒸馏而来,成功将 LIBERO 基准 400 个 episode 的成功率提升至 95.5%。
JitterVLA 基准通过重放相同指令隔离控制器对 VLA 策略运动质量的影响,发现插值法可将人类运动流中的 p99 急动度降低 83%。在 200 ms 延迟下,该降低伴随 2.0 cm 的跟踪成本;在 838 个 episode 的合成与真实数据验证中,该效应得到复现。基准代码与数据将公开发布,支持在人机交互研究前进行筛选评估。
RARA提出一种两阶段机器人策略微调方法,利用检索对齐表示以保留预训练知识并抑制分布外漂移。 该方法先在预训练特征中检索相似意图样本并强制对齐目标演示的表示,再限制微调过程中的表示变化幅度。 在RoboTwin和真实机器人等13个任务上,RARA使分布内成功率提升9.5分、分布外提升13.6分。
JoyInside-VLM-Agent 是一款基于 ReAct 范式开发的多模态智能体,在 BFCL v4 评测中取得 77.44 分,整体得分超越对比基线。 该智能体通过产品条件轨迹构建及分阶段策略学习开发,训练流程涵盖监督微调、多教师在线蒸馏及强化学习。两项真实四足机器人案例验证了视觉搜索与执行失败重规划能力。
提出 StereoEngine,通过两种方法合成机器人操作立体数据,突破真实立体数据集稀缺瓶颈。 方法一是利用深度估计将单目视频变形为右视图并用扩散模型修补,方法二是在仿真中渲染并联合生成左右视图。 其合成数据用于策略中期训练或微调后,可显著提升双手操作任务的下游性能。
研究提出主动反馈(Active Feedback)框架,通过仿真诊断程序解决空中操作中的部分可观测性与交互鲁棒性问题。 在6项模拟任务的60次试验中,该框架将误判完成次数从25降至5,最终任务成功率从31.7%提升至75%。 使用共享机器人API,经该框架优化的程序可直接在物理空中操作机上运行,无需修改源码即可完成多阶段任务。
研究团队提出 VLA 推理框架 IG-VLA,通过潜空间时空推理与场景概要记忆提升效率。 在 LIBERO-Plus 测试中,IG-VLA 成功率超最强基线近 6%,推理延迟降至 169.5ms。 该框架在单张 A6000 GPU 上实现最高 6.38 倍加速,证实时空推理可被有效内化。
面壁智能与鹿明机器人正式达成战略合作,围绕具身智能的数据、模型与场景应用展开长期协同,推动技术验证走向规模化产业落地。 双方将基于高效基座大模型与NexCore技能进化引擎积累的真机数据,协同推进具身数据共建、模型联合研发及真实产业场景部署,打通“数据—模型—场景”正向循环。 该合作为大模型与具身公司优势互补提供了产业化现实路径,助力具身智能从单点演示走向规模复制,成为实体经济新生产力。
IndustrialVLA-Bench 发布,统一评估 6 个开源 VLA 和 WAM 机器人策略模型,提供可追溯的多维证据。 在 LIBERO 基准测试中,6 个系统的平均基础能力得分仅相差 1.58 分;但涉及鲁棒性和语言敏感度时,得分跨度分别达到 14.62 分和 31.08 分。 该评估工具通过分离协议忠实的证据层级,为对比已发布的机器人策略提供了清晰的实用性标准,代码和评估记录已公开。
研究人员提出 HIL-UMI,一种免物理机器人的视觉-语言-动作模型人在环后置训练框架。 该框架利用手持 UMI 采集数据,通过 Energy Score 比对人类动作与策略推理,仅在分布外区域触发数据采集;结合优势估计器优化,实现优势条件行为克隆。 在四个真实任务中,HIL-UMI 表现优于监督微调(SFT)和 HG-DAgger,且单帧采集时间更低,为 VLA 模型迭代提供可扩展路径。
该框架在预测轨迹末端匹配目标的基础上,利用逆动力学模型反向推断动作并计算与原始动作的残差,以此校验中间状态的可实现性。 实验显示,ACID 在 4 种动作条件世界模型和 8 个涵盖模拟及真机操作的任务中持续改进规划性能,并以显著更少的计算量达到基线的准确性。
提出 PearlVLA 视觉-语言-动作(VLA)框架,通过冻结的潜空间世界模型逐步精炼计划以解决延迟与规划效率的权衡。 利用因果精炼-分组过程奖励强化学习优化潜空间精炼过程,在 LIBERO 和 RoboCasa 基准测试中表现具有竞争力。
summary_zh: WEM 模型将具身视频解耦为世界与自我两个生成过程,解决场景一致性与指令跟随难以兼顾的问题。 其采用角色条件注意力的视觉语言状态预测器、语义路由的 SR-MoE 扩散生成器,并在 125K 片段构成的 HTEWorld 数据集上实现 SOTA 表现。
研究提出ExecVLA框架,通过双层动作表示和推理标记,将目标导向组件与执行特定组件分离,以遵循VLA模型的细粒度执行约束。 该方法引入显式目标不变性和执行可预测性目标,在LIBERO和Realman-75机器人上的实验显示,执行约束遵循可靠性大幅提升。
研究者提出 ActionCodec 动作分词器,基于信息论原则优化 VLA 模型训练效率与性能。 该分词器最大化时间 token 重叠并减少词表冗余,在 LIBERO 基准上使 SmolVLM2-2.2B 微调模型达到 95.5% 成功率。 无需机器人预训练即可取得 VLA 模型 SOTA 表现,为社区提供更有效的动作分词器设计路线图。
summary_zh: LM-X 是一款可解释的 VLA 基础模型,联合预训练了 return-to-go、event-to-go 及异方差动作流方差信号。 该模型在超过 20,000 小时异构真实机器人轨迹上训练,RoboTwin2.0 随机高难度任务成功率达 74.1%,真实机器人任务为 73.5%。
研究提出不确定性感知跨模态传感器融合框架 CRUISE,针对复杂场景下特征融合可靠性难题。 CRUISE 整合视觉语言模型引导的不确定性量化模块,生成像素级不确定性估计。框架引入动态自适应机制,显式建模并捕捉跨模态依赖。 该设计利用视觉语言模型的上下文推理能力,确保框架充分利用多传感器输入的互补性。