跳到正文
10月8日周四
  1. arXiv · NLP29

    SpikingVLA:异步脉冲视觉-语言-动作模型

    SpikingVLA 是一种基于 ANN-to-SNN 转换的脉冲视觉-语言-动作(VLA)模型框架,实现了低延迟推理。 它采用树突积分-放电(DIF)神经元和异步执行机制,与现有方法相比,SR 和 SPL 分别提升 11.9% 和 12.6%,首次动作延迟降低 11.2 倍。 该框架为预训练 VLA 模型的高性能、低延迟部署提供了实用方案。

  2. arXiv · NLP33

    CARE:面向视觉-语言-动作模型推理加速的认证方法

    CARE通过配对回滚和序贯测试,为VLA模型加速提供有限样本保证,确保持有认证的最快加速器。 在LIBERO基准上,CARE认证OpenVLA-OFT模型获得9.0-10.8倍加速,95%置信度下保留至少85.8%的成功任务。 相比无保证选择器,CARE严格控制在用户指定的失败预算内,且序贯形式比穷举评估减少78.9%的回滚次数。

  3. arXiv · AI31

    OptCar:利用Transformer FKD架构适配通用车辆模型以实现跨地形高速MPC控制

    OptCar提出一种Transformer前向运动学(FKD)架构,利用FiLM机制将多步预测条件化于单一动力学上下文Token。 该方法在三个地形及分布外拖车任务中进行闭环MPC实验,在6 m/s最高速度下,OptCar在植被+泥土地形将轨迹跟踪误差降低约55%。仅每地形5分钟真实数据即可媲美30分钟数据训练的专用模型。

  4. arXiv · AI42

    FAR: 面向测试时恢复与持续策略改进的失败感知重试框架

    该研究提出 Failure-Aware Retry(FAR)框架,通过结合失败对比偏好适应与轻量动作扰动,使机器人能在测试时从先前失败中学习并自主完成任务。 FAR 在仿真和真实操作任务中大幅提升了成功率,平均较标准扩散策略分别提升 17.6% 和 11.7%,并提高了持续改进中的数据效率。 该工作已被 CoRL 2026 接受,代码与视频已公开。

  5. arXiv · AI41

    RoboFAC:一个用于机器人故障分析与修正的综合框架

    研究人员提出 RoboFAC 框架,构建了包含 9,440 条错误操作轨迹和 78,623 个问答对的大规模故障中心数据集,以解决视觉-语言-动作模型缺乏故障诊断监督的问题。 该轻量级多模态模型在故障分析准确率上比 GPT-4o 高 34.1%,并在实际控制管道中带来 29.1% 的相对性能提升,同时显著降低延迟。 模型和数据集已公开可用,增强了视觉-语言-动作模型在开放世界场景中的恢复能力。

  6. arXiv · AI29

    Long-WAM:扩展因果世界动作模型的上下文窗口

    Long-WAM 将因果世界动作模型的上下文从 0.0 秒扩展至 19.2 秒,使 RoboCasa GR-1 任务成功率从 63.3% 提升至 78.7%。该模型通过自回归(AR)预训练视频基础模型,并在 RTX 5090 等硬件上实现 107.4ms 的动作响应,支持 Unitree G1 动态操作。在动态杯堆叠任务中,Long-WAM 成功率达 95%,优于对比模型。

  7. arXiv · AI31

    RoboQuest:用于通用物理智能体探索、检查与测试的基准

    RoboQuest 提出了一个目标导向的具身探索基准,包含 10 项移动操作任务,重点考察智能体在搜索、基于操作检查及交互式测试三种不确定性下的信息获取能力。 该基准通过通用视觉运动接口评估了 5 个前沿多模态智能体及微调后的 π_0.5 策略,发现最优智能体在独立测试中仅 23% 的情况下成功完成任务。

  8. arXiv · AI20

    SOUL:通过稀疏特征策略遗忘缓解视觉-语言-动作模型的状态幻觉

    视觉-语言-动作模型在机器人操作中存在状态幻觉问题,即假设未实现的物体状态已完成。研究提出SOUL方法,通过稀疏自编码器识别与幻觉相关的特征,选择性遗忘这些错误策略知识。在模拟和真实环境实验中,该方法显著减少了幻觉失败并提高了任务成功率,未损害现有操作能力。

  9. arXiv · AI49

    PhysEvo:基于物理递归自我改进的机器人操作框架

    论文提出 PhysEvo 框架,通过元智能体诊断故障并修订工具,在不更新冻结模型权重的情况下提升机器人操作能力。 在 42 项 RoboDojo 任务中,PhysEvo 平均得分 68.14/100,成功率 62.00%;在 8 项高难度任务中成功率达 55.00%,优于直接 Astra 基线。 该框架在真实世界 5 项任务中实现 84.00% 成功率,证明物理递归自我改进的有效性。

  10. arXiv · AI35

    RoboJEPA:基于大规模机器人数据集训练的多具身世界模型

    研究者发布 RoboJEPA,这是首个在真实机器人数据上建立多具身世界模型缩放定律的工作,参数规模达 8B。 该模型基于 Joint Embedding Predictive Architecture (JEPA),在涵盖 12 种机器人具身的大规模数据集上训练。 RoboJEPA 的想象误差遵循算力的高阶幂律,可作为真实机器人评估的可靠代理,并能零样本部署为机器人智能体。

  11. arXiv · AI39

    EmbodiedRSI: 通过假设引导协同进化的主动持续机器人学习框架

    EmbodiedRSI 采用快慢双系统架构,通过假设图维护代码与技能假设,在 RoboCasa365 上取得 77.0% 总体成功率,LIBERO-Pro 达 86.8%。 快系统执行价值信息实验选择物理交互,慢系统构建层级记忆并基于奖励引导学习优化后续改进。 该框架支持零样本迁移至真实机器人,在多个高难度任务中实现 71.3% 总体成功率,降低了对昂贵遥操作数据的依赖。

  12. arXiv · AI33

    RT-Safe: 基准测试实时具身环境中的智能体安全性

    RT-Safe 是一个模拟城市基准,用于评估实时约束下具身智能体安全性,在八种 VLM 测试中,最严苛场景下仅 0.7% 的回合无安全事件完成。 该基准发现实时执行使碰撞率增加 12.3 倍,而任务完成率高达 91.3% 至 94.1%,揭示任务成功可能掩盖严重安全缺陷。 RT-Safe 支持离线强化学习训练,能显著降低碰撞率并保持高任务完成率。

  13. arXiv · AI28

    Ego2World:编译第一视角烹饪视频为可执行世界以支持信念状态规划

    Ego2World基于HD-EPIC数据集将第一视角烹饪视频转化为受图转移规则控制的符号世界,以评测具身智能体在部分观测下的规划能力。智能体仅依赖局部观测和执行反馈,在隐藏符号世界图上规划,避免假设完全可观测状态。实验显示动作重叠分数高估物理状态成功,持久信念记忆提高了任务完成并减少了重复视觉探索。

  14. arXiv · AI30

    EgoLAP 提出基于语言动作推理的第一视角人机数据预训练框架

    EgoLAP 利用第一视角人类数据训练 VLA 模型,实现 80.1% 的真实任务进度,性能提升 2.3 倍。 该框架将运动意图转化为结构化语言动作,并结合场景几何与物体可供性进行运动级推理,优于复合推理格式。 此方法有效缩小了人类与机器人间的体现差异,提升了控制策略的可迁移性。

  15. arXiv · AI25

    HygieneRoboBench 基准与 Hygiene-NSP 规划器:评估家用人形机器人卫生感知规划

    研究团队提出包含624个实例的 HygieneRoboBench 基准,用于评估家用人形机器人在接触污染物体后的卫生感知规划与安全执行能力。 该基准结合受控历史、配置文件和事件比较,评估任务在用户优先级下的安全解决与成本效率。 为优化规划效果,研究引入结合 LLM 基础、接触历史重建和 CP-SAT 的 Hygiene-NSP 规划器,其在完整数据集上实现了94.4%的安全解决率。

  16. arXiv · AI34

    EigenDEXplore:利用人类先验结构探索以实现灵巧操作

    论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。

  17. arXiv · AI42

    SMART:基于大规模合成预训练的零样本仿真到实物铰接物体操作系统

    SMART 提出大规模合成演示用于铰接物体操作,解决真实数据收集难题。 包含 SMART-Sim 仿真平台、SMART-Data(超 100 万条演示、44 种原子任务、5 种机器人构型、2507 个铰接物体)及预训练 VLA 模型。 实现零样本 sim-to-real 迁移,展示合成演示在富接触铰接操作中的可扩展监督潜力。

  18. arXiv · AI23

    VLM引导的电磁数字孪生在线校准演示

    该框架利用视觉语言模型(VLM)指导Unitree G1机器人和NVIDIA Sionna进行电磁数字孪生在线校准,解决材料电导率随环境变化的问题。 在真实室内场景中,该框架在20米行程内实现归一化平均绝对电导率误差为$1.74\times10^{-4}$。随机初始化无法收敛,而随机航点规划所需行程超过两倍以上。

  19. arXiv · AI28

    VeriFine:通过策略、课程与评判者共同进化实现具身推理自我改进

    VeriFine框架通过策略、训练课程和评判者的共同进化,扩展了具身推理中的验证规模,克服了固定评判者对自我改进的限制。该框架包含策略改进循环,使用评分标准评判者诊断失败并优化策略;当进展停滞时,评判者改进循环通过人机协作校准解决分歧,提升评判能力。在驾驶和机器人导航任务中,实验显示策略和评判者能力在强化学习与微调中持续自我改进。