SpikingVLA:异步脉冲视觉-语言-动作模型
SpikingVLA 是一种基于 ANN-to-SNN 转换的脉冲视觉-语言-动作(VLA)模型框架,实现了低延迟推理。 它采用树突积分-放电(DIF)神经元和异步执行机制,与现有方法相比,SR 和 SPL 分别提升 11.9% 和 12.6%,首次动作延迟降低 11.2 倍。 该框架为预训练 VLA 模型的高性能、低延迟部署提供了实用方案。
SpikingVLA 是一种基于 ANN-to-SNN 转换的脉冲视觉-语言-动作(VLA)模型框架,实现了低延迟推理。 它采用树突积分-放电(DIF)神经元和异步执行机制,与现有方法相比,SR 和 SPL 分别提升 11.9% 和 12.6%,首次动作延迟降低 11.2 倍。 该框架为预训练 VLA 模型的高性能、低延迟部署提供了实用方案。
CARE通过配对回滚和序贯测试,为VLA模型加速提供有限样本保证,确保持有认证的最快加速器。 在LIBERO基准上,CARE认证OpenVLA-OFT模型获得9.0-10.8倍加速,95%置信度下保留至少85.8%的成功任务。 相比无保证选择器,CARE严格控制在用户指定的失败预算内,且序贯形式比穷举评估减少78.9%的回滚次数。
ModPack 是一款模块化遥操作系统,集成了自包含式穿戴“背包”,支持关节级遥操作、移动操作和主动感知等即插即用模块。 该系统在两个不同机器人平台上验证了其灵活性,所收集数据质量优于无机器人方案,并已开源完整的硬件设计和软件栈以支持未来研究。
OptCar提出一种Transformer前向运动学(FKD)架构,利用FiLM机制将多步预测条件化于单一动力学上下文Token。 该方法在三个地形及分布外拖车任务中进行闭环MPC实验,在6 m/s最高速度下,OptCar在植被+泥土地形将轨迹跟踪误差降低约55%。仅每地形5分钟真实数据即可媲美30分钟数据训练的专用模型。
summary_zh: VIA (Visual Interface Agent) 将机器人控制重构为智能体任务,利用虚拟工作区驱动操作臂完成抓取。 该框架支持多模态智能体零样本操作,性能随底层基础模型增强而提升,已在真实移动机器人上验证。
该研究提出 Failure-Aware Retry(FAR)框架,通过结合失败对比偏好适应与轻量动作扰动,使机器人能在测试时从先前失败中学习并自主完成任务。 FAR 在仿真和真实操作任务中大幅提升了成功率,平均较标准扩散策略分别提升 17.6% 和 11.7%,并提高了持续改进中的数据效率。 该工作已被 CoRL 2026 接受,代码与视频已公开。
研究证明世界模型为机器人学习供应链引入隐蔽数据投毒入口。 攻击者通过向安全的遥操作数据集注入恶意提示或破坏性过渡动力学,经世界模型生成危险轨迹,导致下游策略失效。该方法在VLA场景实现端到端后门验证,凸显世界模型安全性研究必要性。
提出 WorldDP 框架,通过物体中心表示解耦环境实体,利用高层世界模型优化子目标并由底层扩散策略执行,以解决多阶段机器人操作任务。 该框架在多个机器人基准测试中持续优于现有基线,验证了结合物理规划与高效执行能带来 superior 的多阶段性能。
研究提出 TAVIS 基准,包含 TAVIS-Head 和 TAVIS-Hands 两套任务,基于 IsaacLab 和 GR1T2、Reachy2 人形躯体构建。 引入 GALT 指标量化预测性注视,基线实验显示 Diffusion Policy 和 π_0 在主动视觉下表现改善,且多任务策略在分布偏移下显著退化。 代码与评估脚本已开源。
RoboPilot 提出双思维闭环 Agentic 框架,通过快慢思维动态切换增强机器人操作鲁棒性。 引入 Chain-of-Thought 推理优化任务规划,评测基准 RoboPilot-Bench 覆盖 21 项任务。 实验显示其任务成功率较 SOTA 基线提升 11%,工业部署验证了动态恢复能力。
研究人员提出 RoboFAC 框架,构建了包含 9,440 条错误操作轨迹和 78,623 个问答对的大规模故障中心数据集,以解决视觉-语言-动作模型缺乏故障诊断监督的问题。 该轻量级多模态模型在故障分析准确率上比 GPT-4o 高 34.1%,并在实际控制管道中带来 29.1% 的相对性能提升,同时显著降低延迟。 模型和数据集已公开可用,增强了视觉-语言-动作模型在开放世界场景中的恢复能力。
Long-WAM 将因果世界动作模型的上下文从 0.0 秒扩展至 19.2 秒,使 RoboCasa GR-1 任务成功率从 63.3% 提升至 78.7%。该模型通过自回归(AR)预训练视频基础模型,并在 RTX 5090 等硬件上实现 107.4ms 的动作响应,支持 Unitree G1 动态操作。在动态杯堆叠任务中,Long-WAM 成功率达 95%,优于对比模型。
FoldBack 是一种自我校正的掩码生成策略,专为长时程服装折叠设计。 该策略在 33 件真实服装的测试中,最终折叠成功率为 75.2%,最终掩码 IoU 为 0.837,均优于 45.7% 和 0.689 的最强基线,且无需恢复演示或基础策略重训练。
RoboQuest 提出了一个目标导向的具身探索基准,包含 10 项移动操作任务,重点考察智能体在搜索、基于操作检查及交互式测试三种不确定性下的信息获取能力。 该基准通过通用视觉运动接口评估了 5 个前沿多模态智能体及微调后的 π_0.5 策略,发现最优智能体在独立测试中仅 23% 的情况下成功完成任务。
提出双AI架构框架,LLM生成受限代码,VLM提供语义 grounding,支持复杂意图到机器人动作的映射。 架构包含几何/语义阈值驱动的重规划触发器、运行时监控和自适应规划循环,在前沿模型基准测试中验证了动态环境下的鲁棒性。
视觉-语言-动作模型在机器人操作中存在状态幻觉问题,即假设未实现的物体状态已完成。研究提出SOUL方法,通过稀疏自编码器识别与幻觉相关的特征,选择性遗忘这些错误策略知识。在模拟和真实环境实验中,该方法显著减少了幻觉失败并提高了任务成功率,未损害现有操作能力。
研究者提出通用物理 AI 数据策展工具 Kuration SDK,发现 FVD 等指标与游戏可玩性不匹配,证实存在“虚拟至现实差距”。 该工具在 CounterStrike 游戏数据实验中,通过分析诊断属性,揭示了两个世界模型表现差异的根本原因,而仅靠 LPIPS 和 FVD 分数无法解释此现象。
summary_zh: MimicX 提出一种策略在环框架,利用执行反馈优化视频驱动的人形机器人运动跟踪。 在四项核心任务中,相比固定参考基线,人体跟踪误差降低 25.7%,执行时程提升 255.6%。
论文提出 PhysEvo 框架,通过元智能体诊断故障并修订工具,在不更新冻结模型权重的情况下提升机器人操作能力。 在 42 项 RoboDojo 任务中,PhysEvo 平均得分 68.14/100,成功率 62.00%;在 8 项高难度任务中成功率达 55.00%,优于直接 Astra 基线。 该框架在真实世界 5 项任务中实现 84.00% 成功率,证明物理递归自我改进的有效性。
针对深空任务无法依赖地面实时支持且初始警报因果不明的困境,研究提出一种证据驱动的人-智能体-机器人协作架构。 该架构将 Agentic AI 作为有状态协调器,通过分诊状态管理器维护假设与证据溯源,并结合 Reachy Mini 和 Innate MARS 移动机器人获取局部证据。
研究者发布 RoboJEPA,这是首个在真实机器人数据上建立多具身世界模型缩放定律的工作,参数规模达 8B。 该模型基于 Joint Embedding Predictive Architecture (JEPA),在涵盖 12 种机器人具身的大规模数据集上训练。 RoboJEPA 的想象误差遵循算力的高阶幂律,可作为真实机器人评估的可靠代理,并能零样本部署为机器人智能体。
EmbodiedRSI 采用快慢双系统架构,通过假设图维护代码与技能假设,在 RoboCasa365 上取得 77.0% 总体成功率,LIBERO-Pro 达 86.8%。 快系统执行价值信息实验选择物理交互,慢系统构建层级记忆并基于奖励引导学习优化后续改进。 该框架支持零样本迁移至真实机器人,在多个高难度任务中实现 71.3% 总体成功率,降低了对昂贵遥操作数据的依赖。
SearchWorld提出一种循环状态空间世界模型,通过结合显式空间记忆与价值引导想象,提升无人机在部分可观测环境下的前瞻性规划能力。 在UAV-ON基准测试中,该模型将物体搜索成功率提升至23.8%,优于最强已发布智能体的19.5%,未见过场景下成功率为19.9%。
RT-Safe 是一个模拟城市基准,用于评估实时约束下具身智能体安全性,在八种 VLM 测试中,最严苛场景下仅 0.7% 的回合无安全事件完成。 该基准发现实时执行使碰撞率增加 12.3 倍,而任务完成率高达 91.3% 至 94.1%,揭示任务成功可能掩盖严重安全缺陷。 RT-Safe 支持离线强化学习训练,能显著降低碰撞率并保持高任务完成率。
summary_zh: PAIR 框架通过共享感知-动作表示,在 LIBERO-Plus 上将 VLA-Adapter 成功率从 59.1% 提升至 64.2%,在 CALVIN 上将完成序列长度从 4.42 提升至 4.53。
GAF 利用 2.735M 参数的 critic 引导 0.45B VLA,在 6 个任务中成功率从 60.0% 提升至 82.5%。 其在复杂光照和干扰条件下将成功率从 34.2% 提升至 49.2%。
SimToolReal 通过程序化生成多样化工具状基元并训练单一 RL 策略,实现了零样本灵巧工具操作。 该策略在测试时无需针对特定物体或任务进行额外训练,超越了现有固定抓握方法 37%,并在 120 次真实世界中 24 项任务上表现出强泛化性能。
Ego2World基于HD-EPIC数据集将第一视角烹饪视频转化为受图转移规则控制的符号世界,以评测具身智能体在部分观测下的规划能力。智能体仅依赖局部观测和执行反馈,在隐藏符号世界图上规划,避免假设完全可观测状态。实验显示动作重叠分数高估物理状态成功,持久信念记忆提高了任务完成并减少了重复视觉探索。
深度世界模型 DepthWorld 联合预测多视图 RGB 和深度,基于 Stable Video Diffusion 架构,在 DROID-3D 数据集上训练。
EgoLAP 利用第一视角人类数据训练 VLA 模型,实现 80.1% 的真实任务进度,性能提升 2.3 倍。 该框架将运动意图转化为结构化语言动作,并结合场景几何与物体可供性进行运动级推理,优于复合推理格式。 此方法有效缩小了人类与机器人间的体现差异,提升了控制策略的可迁移性。
研究团队提出包含624个实例的 HygieneRoboBench 基准,用于评估家用人形机器人在接触污染物体后的卫生感知规划与安全执行能力。 该基准结合受控历史、配置文件和事件比较,评估任务在用户优先级下的安全解决与成本效率。 为优化规划效果,研究引入结合 LLM 基础、接触历史重建和 CP-SAT 的 Hygiene-NSP 规划器,其在完整数据集上实现了94.4%的安全解决率。
summary_zh: CropSentry 是一种低成本地面多机器人系统,通过多模态叶片感知连续监测农作物胁迫水平,解决传统技术对中小规模农户过于昂贵复杂的问题。
SufficientPlan 框架在视觉世界模型中显著降低搜索预算与规划延迟,同时保持竞争性任务性能。 该框架通过 PSBC 组件认证特定模型-任务的缩减预算,利用 SCR 组件在搜索迭代中复用静态上下文,无需修改预训练模型。
VOMMI 提出了一种基于视觉里程计(VO)条件的移动操作接口,用于连接便携式 RGB 演示数据与 VLA 模型的离线轨迹重建及在线视觉-运动条件学习。该框架通过 R2-VO 使用稀疏几何锚点优化离线轨迹,生成因果局部运动 token,且无需人机运动学对应校准。
论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。
SMART 提出大规模合成演示用于铰接物体操作,解决真实数据收集难题。 包含 SMART-Sim 仿真平台、SMART-Data(超 100 万条演示、44 种原子任务、5 种机器人构型、2507 个铰接物体)及预训练 VLA 模型。 实现零样本 sim-to-real 迁移,展示合成演示在富接触铰接操作中的可扩展监督潜力。
OpenSplatGraph 提出统一框架,直接从在线 Gaussian 开放词汇语义图构建持久 3D 场景图。 框架引入可靠性感知语义场以提取置信度感知的对象实例,支持语言引导的对象定位和结构化关系推理。
RoboCap 平台推出了 250g 六摄像头双 IMU 帽子,用于解决第一视角机器人操作数据稀缺问题。 该硬件结合 Grounded API 的 3D 算法,在 SLAM、深度估计及手部追踪等公开基准上实现了 SOTA 性能。
该框架利用视觉语言模型(VLM)指导Unitree G1机器人和NVIDIA Sionna进行电磁数字孪生在线校准,解决材料电导率随环境变化的问题。 在真实室内场景中,该框架在20米行程内实现归一化平均绝对电导率误差为$1.74\times10^{-4}$。随机初始化无法收敛,而随机航点规划所需行程超过两倍以上。
VeriFine框架通过策略、训练课程和评判者的共同进化,扩展了具身推理中的验证规模,克服了固定评判者对自我改进的限制。该框架包含策略改进循环,使用评分标准评判者诊断失败并优化策略;当进展停滞时,评判者改进循环通过人机协作校准解决分歧,提升评判能力。在驾驶和机器人导航任务中,实验显示策略和评判者能力在强化学习与微调中持续自我改进。