跳到正文
10月14日周三
  1. arXiv · AI27

    Words to World 基准测试:评估 LLM 在交互式物理环境中的表现

    研究人员发布名为 Words to World 的基准,用于在闭环物理交互中评估 LLM。该基准测试包含机械臂、摄像头和传感器,模型需根据物理反馈调整行动,超越静态文本响应。 实验揭示了 LLM 在将语言推理转化为物理行动时的共同失败模式,包括幻觉状态变化、从意外结果中恢复能力差以及长期计划不稳定。该基准旨在为评估连接语言、工具和物理世界的 LLM 提供系统基础。

  2. arXiv · ML21

    DySCOVER:利用预测性好奇心提升机器人视觉学习的自监督框架

    研究提出自监督框架 DySCOVER,通过预测性好奇心驱动机器人主动收集经验,提升视觉学习效果。 框架包含视觉自编码器和循环世界模型,策略仅由内在奖励训练。预测误差引导策略生成复杂轨迹,补充纯视觉新颖性带来的观察局限。 实验表明,预测性好奇心在所有测试变体中一致改善了视觉学习,超越了仅基于重建的好奇心机制。

10月12日周一
  1. 豆包工作40

    智身科技部署豆包工作,实现机器狗自然语言巡检

    智身科技利用豆包工作搭建园区巡检方案,员工仅需下达“去办公室巡检一圈”指令,系统即可自动生成路线并下发任务。机器狗通过 MCP 接口执行巡检,豆包工作自动识别现场异常,生成含风险等级的记录写入飞书多维表格,并推送给负责人。系统还能自动汇总数据生成巡检周报,降低操作门槛。

  2. arXiv · AI36

    视觉界面机器人智能体自动 Harness 进化的规模与选择机制

    自动进化视觉界面机器人智能体的 Harness 时,优化智能体每轮可见的 rollout 数量及选择机制决定泛化能力。 训练批处理从 5 增至 100 可提升留出成功率;小批处理导致过拟合,且无条件接受修订会降低性能。 结合预训练策略后,在 RoboCasa365 基准上达到 71.2%,比最佳公开结果高 13.1 分。

  3. arXiv · AI40

    MC-EvoBench:Minecraft 智能体经验驱动自我改进评测基准

    MC-EvoBench 是面向 Minecraft 环境驱动自我改进的受控评测基准,包含 19 条注册进化链(12 条主评估链、7 条校准或探针链)及 3 组对齐成对探针家族。 每条探针在匹配环境步数预算与 5 个种子下评估无先验、相关、不相关与打乱源条件,指标包括 TSR、WGP、VMP;审计显示相关经验未带来稳定迁移效应。

  4. arXiv · AI35

    MAGMA-Bench:动态任务与执行故障下的长程具身智能体评测基准

    MAGMA-Bench 发布了一个架构无关的基准,用于评估动态多机器人环境下的长程具身智能体。 该基准包含 261,646 个任务级训练示例,并测试了在线扰动、异构机器人协调及执行故障。 评估显示,即使在无扰动的干净集分中,最强模型也有大量失败,且在线扰动下成功率进一步下降。

  5. arXiv · AI27

    EmbodiedCLBench:评估自演化具身智能体的持续学习

    研究团队推出首个具身模拟基准EmbodiedCLBench,通过组合泛化原理评估自演化智能体的持续学习能力。 该基准测试智能体能否先学习基础任务再重组技能解决复杂未见任务。实验发现基础任务经验能带来稳定改进,但效果不随学习样本数量增加而提升,当前智能体无法从额外经验中提取有意义信息。 这凸显持续学习是具身环境中自演化智能体的基础但未被充分探索的能力。

  6. arXiv · AI30

    OGPO: 面向可恢复 VLA 模型的离线目标条件策略优化

    提出 OGPO 框架,通过离线目标条件策略优化实现 VLA 模型的可恢复后训练。 OGPO 利用语义关键状态自适应重标记轨迹并构建目标条件过程奖励,将后训练从轨迹级动作模仿转变为关键状态可达性学习。 在 LIBERO 和 MetaWorld 实验中,OGPO 一致提升了 VLA 策略性能,并在 LIBERO-ReAct 扰动基准下展现出更强的鲁棒性。

  7. arXiv · ML33

    DRIFT:通过对抗补丁攻击流匹配 VLA 的去噪轨迹

    DRIFT 通过攻击首个去噪步骤,在 pi0 和 pi0.5 模型上破坏了 LIBERO 套件中几乎所有原本可解决的任务。 该攻击作为一种测试时通用对抗补丁,施加在机器人夹爪上,其效果远超动作空间和嵌入空间的攻击基线。 这种仅攻击第一步既更强又更省的方法,揭示了输入空间优化中独特的梯度冲突现象。

  8. arXiv · ML33

    RoboMME-Interference 发布:在干扰下测试机器人记忆

    RoboMME-Interference 是一个跨会话基准,基于 RoboMME 构建,专门测量机器人在长上下文和存在干扰会话时的记忆性能。 测试显示,感知记忆变体随着无关会话累积,其表现会显著且持续地下降;而次目标变体保留改进的效果更好。 该研究强调了长上下文记忆和抗干扰鲁棒性的重要性,并指出当前系统在这些能力上普遍表现不佳。

  9. arXiv · ML41

    w²VLA 解耦视觉-语言-动作模型中的陈述性与程序性知识

    研究人员提出 w²VLA 模型,通过重组信息流将 VLM 编码器输出中的陈述性概念与程序性技能解耦。 该模型以可解释的模块化方式调节机器人状态序列,取代了不透明的 Transformer 动作专家结构。 实验显示 w²VLA 在行为克隆和跨未见物体的零样本技能迁移上具有前所未有的能力。

  10. arXiv · ML30

    VLA-FAIL: 面向微调视觉语言动作模型的轻量级任务失败检测框架

    提出 VLA-FAIL 框架,通过结合 LLMD 和 ACC 两种轻量级检测器实现视觉语言动作模型的失败检测,无需失败数据且开销极小。 LLMD 利用最后一层特征测度分布外状态,ACC 利用后退视界控制的时间重叠检测动作块不一致,两者结合能可靠且早期检测多种失败模式。 该框架在真实与模拟实验中优于更昂贵的基线方法,已被 CoRL 2026 接收,为安全部署提供新方案。

  11. arXiv · ML31

    FactoryNet 数据集发布,推动工业时序基础模型研究

    FactoryNet 是一个包含 11300 万个数据点的工业时序预训练语料库,覆盖 7 种本体和 4 项任务。 该数据集统一映射为 S-E-F-C 控制理论架构,研究证实其支持跨本体迁移学习,且在无真实标签时可恢复约三分之二真实数据性能。 FactoryNet 已作为工业基础模型的多本体基础资源开放发布。

  12. arXiv · ML35

    Dream to Remember:基于世界模型的通用机器人策略持续引导方法

    论文提出 Dream to Remember (D2R) 方法,通过持续引导冻结的通用机器人策略应对新任务,并利用预训练世界模型进行想象排练以避免灾难性遗忘。 在 CALVIN 基准上,D2R 在纯想象环境下将 8 个连续任务的平均成功率从 63.7% 提升至 74.8%,显著优于 LoRA 微调导致的 11.7% 衰退率。

  13. arXiv · ML24

    JitterVLA:面向 VLA 驱动人机操作运动质量的重放基准

    JitterVLA 基准通过重放相同指令隔离控制器对 VLA 策略运动质量的影响,发现插值法可将人类运动流中的 p99 急动度降低 83%。在 200 ms 延迟下,该降低伴随 2.0 cm 的跟踪成本;在 838 个 episode 的合成与真实数据验证中,该效应得到复现。基准代码与数据将公开发布,支持在人机交互研究前进行筛选评估。

  14. arXiv · ML38

    RARA:通过检索锚定的表示对齐实现鲁棒的机器人操作策略微调

    RARA提出一种两阶段机器人策略微调方法,利用检索对齐表示以保留预训练知识并抑制分布外漂移。 该方法先在预训练特征中检索相似意图样本并强制对齐目标演示的表示,再限制微调过程中的表示变化幅度。 在RoboTwin和真实机器人等13个任务上,RARA使分布内成功率提升9.5分、分布外提升13.6分。

  15. arXiv · ML43

    JoyInside-VLM-Agent: 面向具身智能体的产品条件多模态策略学习

    JoyInside-VLM-Agent 是一款基于 ReAct 范式开发的多模态智能体,在 BFCL v4 评测中取得 77.44 分,整体得分超越对比基线。 该智能体通过产品条件轨迹构建及分阶段策略学习开发,训练流程涵盖监督微调、多教师在线蒸馏及强化学习。两项真实四足机器人案例验证了视觉搜索与执行失败重规划能力。

  16. arXiv · ML23

    StereoEngine:无需立体相机扩展双手机器人操作数据

    提出 StereoEngine,通过两种方法合成机器人操作立体数据,突破真实立体数据集稀缺瓶颈。 方法一是利用深度估计将单目视频变形为右视图并用扩散模型修补,方法二是在仿真中渲染并联合生成左右视图。 其合成数据用于策略中期训练或微调后,可显著提升双手操作任务的下游性能。

  17. arXiv · ML23

    Fly-by-Code:利用主动视觉与物理反馈实现空中操作具身编码智能体

    研究提出主动反馈(Active Feedback)框架,通过仿真诊断程序解决空中操作中的部分可观测性与交互鲁棒性问题。 在6项模拟任务的60次试验中,该框架将误判完成次数从25降至5,最终任务成功率从31.7%提升至75%。 使用共享机器人API,经该框架优化的程序可直接在物理空中操作机上运行,无需修改源码即可完成多阶段任务。

10月11日周日
  1. 面壁智能36

    面壁智能与鹿明机器人达成具身智能战略合作

    面壁智能与鹿明机器人正式达成战略合作,围绕具身智能的数据、模型与场景应用展开长期协同,推动技术验证走向规模化产业落地。 双方将基于高效基座大模型与NexCore技能进化引擎积累的真机数据,协同推进具身数据共建、模型联合研发及真实产业场景部署,打通“数据—模型—场景”正向循环。 该合作为大模型与具身公司优势互补提供了产业化现实路径,助力具身智能从单点演示走向规模复制,成为实体经济新生产力。

10月9日周五
  1. arXiv · AI26

    IndustrialVLA-Bench:开源机器人策略模型的可追溯多维评估

    IndustrialVLA-Bench 发布,统一评估 6 个开源 VLA 和 WAM 机器人策略模型,提供可追溯的多维证据。 在 LIBERO 基准测试中,6 个系统的平均基础能力得分仅相差 1.58 分;但涉及鲁棒性和语言敏感度时,得分跨度分别达到 14.62 分和 31.08 分。 该评估工具通过分离协议忠实的证据层级,为对比已发布的机器人策略提供了清晰的实用性标准,代码和评估记录已公开。

  2. arXiv · AI23

    HIL-UMI:将人在环后置训练引入视觉-语言-动作模型的通用操作接口

    研究人员提出 HIL-UMI,一种免物理机器人的视觉-语言-动作模型人在环后置训练框架。 该框架利用手持 UMI 采集数据,通过 Energy Score 比对人类动作与策略推理,仅在分布外区域触发数据采集;结合优势估计器优化,实现优势条件行为克隆。 在四个真实任务中,HIL-UMI 表现优于监督微调(SFT)和 HG-DAgger,且单帧采集时间更低,为 VLA 模型迭代提供可扩展路径。

  3. arXiv · AI43

    ACID 是一种通过动作逆动力学一致性提升世界模型规划稳定性的决策时规划框架。

    该框架在预测轨迹末端匹配目标的基础上,利用逆动力学模型反向推断动作并计算与原始动作的残差,以此校验中间状态的可实现性。 实验显示,ACID 在 4 种动作条件世界模型和 8 个涵盖模拟及真机操作的任务中持续改进规划性能,并以显著更少的计算量达到基线的准确性。

  4. arXiv · AI35

    ActionCodec: 什么是优秀的动作分词器

    研究者提出 ActionCodec 动作分词器,基于信息论原则优化 VLA 模型训练效率与性能。 该分词器最大化时间 token 重叠并减少词表冗余,在 LIBERO 基准上使 SmolVLM2-2.2B 微调模型达到 95.5% 成功率。 无需机器人预训练即可取得 VLA 模型 SOTA 表现,为社区提供更有效的动作分词器设计路线图。

  5. arXiv · AI28

    CRUISE:视觉语言模型引导的不确定性感知跨模态传感器融合

    研究提出不确定性感知跨模态传感器融合框架 CRUISE,针对复杂场景下特征融合可靠性难题。 CRUISE 整合视觉语言模型引导的不确定性量化模块,生成像素级不确定性估计。框架引入动态自适应机制,显式建模并捕捉跨模态依赖。 该设计利用视觉语言模型的上下文推理能力,确保框架充分利用多传感器输入的互补性。