跳到正文
10月20日周二
  1. arXiv · AI33

    GemNav:基于多模态大语言模型的离散Token视觉机器人导航

    GemNav利用多模态大语言模型,将机器人导航路径点映射为离散度量值箱的类别分布,从而高效适配机器人导航。 该策略仅在8.7小时的公开SCAND数据集上训练,数据量比竞对小三个数量级;实验显示其分布外泛化能力和避障可靠性显著优于连续回归头。 同一策略无需针对平台重新训练,即可迁移至未知环境和三种物理构型不同的机器人平台。

  2. arXiv · AI36

    EDITH:利用第一视角视觉与视线引导机器人理解人类非语言意图

    EDITH 是一个机器人框架,通过智能眼镜捕获第一视角视觉、视线和语音流,使机器人能理解非语言意图。 系统采用分层策略,高层策略推断意图并生成子任务,底层策略执行;该框架显著降低了用户传达意图的负担。 项目页面已开源源代码并提供真实机器人演示视频。

  3. arXiv · AI28

    VLA-Pro:面向视觉-语言-动作模型的跨任务程序记忆迁移

    VLA-Pro 提出一种即插即用框架,通过存储和迁移任务相关程序记忆增强 VLA 模型的跨任务泛化能力。 该框架在训练时存储任务特定的 LoRA 适配器作为参数化程序记忆,推理时基于多模态上下文检索并动态融合记忆以生成动作。 实验显示其在 RoboTwin、RLBench 及真实场景中提升显著,模拟环境相对提升最高达 207%,真实成功率从 5.8% 增至 65.0%。

  4. arXiv · AI28

    BioProVLA-Agent:面向生物实验的低成本协议驱动视觉增强具身多智能体系统

    BioProVLA-Agent 提出了一个低成本、协议驱动且视觉增强的具身多智能体系统,用于生物实验室操作。 该系统通过 LLM、VLM-RAG 和 VLA 智能体实现闭环工作流,并开发了 AugSmolVLA 在线增强策略以应对透明器皿和光照干扰。 在涵盖 15 个原子任务等基准测试中,其在正常和高曝光设置下比 ACT 和 X-VLA 更具执行稳定性。

  5. arXiv · AI38

    Causal Scene Narration 通过推理时文本重构提升驾驶 VLA 模型表现

    因果场景叙述(CSN)方法通过在推理时重构视觉-语言-动作模型的文本输入,在 CARLA 测试中使 LMDrive 模型的驾驶得分相对提升 31.1%。 CSN 利用意图对齐和定量接地技术实现零 GPU 成本优化,在 8 个城镇、16 条路线的多轮评估中验证有效。其收益主要来自信息内容重构,且在感知噪声下保持稳健。

  6. arXiv · AI38

    EVA: 通过逆动力学奖励对齐视频世界模型与可执行机器人动作

    EVA 框架利用动作空间反馈解决视频生成模型的“可执行性差距”,提升机器人动作生成的视觉完整性与动作可行性。 EVA 冻结在机器人演示上训练的逆动力学模型(IDM)解码动作,并通过强化学习更新视频生成器以惩罚非平滑运动及速度、加速度违规。 在 RoboTwin、LIBERO 及真实双臂机器人上的实验表明,EVA 减少了视觉伪影并提高了任务成功率。

  7. arXiv · AI35

    Stellar VLA: 一种无参数增长的视觉语言动作模型持续学习框架

    提出 Stellar VLA 框架,通过无参数增长的知识驱动方法解决视觉语言动作模型的持续学习挑战。 包含 T-Stellar 和 TS-Stellar 两种变体,联合优化任务表示与自进化知识空间,利用 Top-K 语义嵌入进行专家路由。 在 LIBERO 基准上仅需 1% 回放即超越基线,双机械臂实验验证了跨本体知识迁移能力。

  8. arXiv · AI21

    Equivariant Volumetric Grasping

    提出对垂直轴旋转等变的体积抓取模型,采用三平面体积特征表示。 新设计使水平面特征具备 90 度旋转等变性,并推导 GIGA 与 IGD 的等变适配,其中基于流匹配的等变生成模型可预测抓取朝向。 该方法降低计算与内存成本,在实时约束下性能优于非等变模型。

  9. arXiv · AI38

    GEMS 通过联合建模目标导向与习惯行为生成类人智能体行为

    GEMS 提出生成式具身多行为控制系统,联合建模目标导向与习惯行为以生成可信类人行为。 系统采用认知模块(含习惯控制器、目标控制器、仲裁器)生成自然语言行为,并用 Text-to-Motion 模型在 3D 环境中生成动作。 研究证明 GEMS 显著提升了人类相似性表现,展示了利用习惯行为提升具身智能体可信度的价值。

  10. arXiv · AI23

    SPAR:面向视觉-语言-动作模型的结构剪枝与动作恢复

    针对机器人 VLA 模型推理资源受限的问题,SPAR 结合剪枝感知微调与强化学习(RL),在大幅压缩模型的同时恢复操作性能。 应用于 π_0.5 模型,语言骨干参数量从 2.34B 降至 0.09B,整体模型从 3.37B 降至 1.12B;RL 使 LIBERO 测试集平均成功率由 84.55% 提升至 93.45%,推理速度提升 1.98 倍。

  11. arXiv · AI23

    ALIGN:对齐优势条件行为克隆中的条件估计与表达

    ALIGN 框架通过直接预测类别对条件并注入 DiT 动作专家,优化了视觉 - 语言 - 动作策略的条件保真度。 在 ARX X5 和 Franka 机器人任务中,ALIGN 闭环成功率分别达 90.0% 和 56.7%,显著优于最强基线的 56.7% 和 33.3%。 该方法验证了从估计到动作预测对齐条件能有效提升混合质量数据的操作策略鲁棒性。

  12. arXiv · AI26

    基于代码空间的策略搜索用于多智能体路径规划

    结合自主编码智能体的代码空间策略搜索,在多智能体路径规划中优于人工工程化方案。 2024 机器人联赛某挑战地图上,2 天搜索得出的策略比复现的更强竞赛方案最优实例高 35.0%;模拟仓库场景中 1 周搜索发现的新算法吞吐量比专有方案高 58.9%。 该工作表明,该路径能构建既有效又具备可解析性的工程解。

  13. arXiv · AI25

    OV-PEAR: 面向未知工业操作物体的观测验证位姿-尺度估计与重建框架

    OV-PEAR 在 BOP-Industrial 数据集上取得 0.657 的平均 AR 指标,实现了对未知工业物体的 3D 重建和位姿-尺度估计。 该框架采用三阶段流程,在真实机器人连接器装配任务中达成 99.67% 的抓取成功率和 84.00% 的装配成功率。 模型库支持以 0.02 ms/frame 的速度进行短期物体级状态维护。

  14. arXiv · AI27

    基于快速仿真的强化学习实现空间机器人控制策略训练与真实世界迁移

    该工作展示了一种快速仿真训练框架,利用强化学习在单块消费级GPU上训练四足机器人,使其能在包括模拟月球环境在内的多种真实地形可靠行走,训练时间少于20分钟。 该方法硬件需求极低,仿真中学习的策略能可靠迁移到真实世界,展示了强化学习在开发更强大、更稳健的空间机器人系统中的潜力。

  15. arXiv · AI20

    Context-Aware RGB-Thermal-Radar 障碍物感知用于资源受限自主水面艇

    该研究提出一种上下文感知架构,融合 RGB、长波红外(LWIR)和毫米波雷达数据,用于资源受限的自主水面艇(ASV)障碍物感知。 在 24 次闭环湖上测试中(16 白天、4 黄昏、4 夜间),模型在 8 个低光照留出集上达到 AP 0.869,优于基于规则的融合(AP 0.673)。 当 RGB 不可用时,融合模型仍能保持导航输入可用性,为多日 ASV 任务提供可预测的性能降级能力。

  16. arXiv · AI24

    TESS: 基于 LLM 引导的具身任务规划翻译、探索、模拟与搜索方法

    TESS 框架通过 LLM 引导搜索算法解决具身任务规划中计划可执行性与正确性不足的问题。该方法利用 LLM 将自然语言指令转化为格式化目标条件,并在部分可观测环境中通过规则模拟器和动作空间剪枝提升搜索效率。实验结果在 VirtualHome 和 ALFWorld 基准上展示了其优越性能。

  17. arXiv · AI25

    DialogMem:评测三维环境中对话驱动的具身记忆

    论文提出DialogMem基准,包含27个真实3D场景、142个片段,用于评测具身智能体整合视觉观察与人类对话的记忆能力。 基准涵盖14,193个问答对和11,890条导航指令,在统一框架内评估9种记忆表征。实验表明,在评测时添加对话显著提升问答表现,但对导航收益甚微。 研究指出对话接地、条目检索与空间定位是具身记忆的三大瓶颈。

  18. arXiv · AI38

    Recursia:通过递归自我改进共享可执行栈实现零样本长时程机器人操作

    Recursia 框架将共享可执行栈作为改进单元,解决机器人技能组合时的失败问题。 在 LIBERO-Pro 模拟中,Recursia 在 Pos 扰动下比 ASPIRE 成功率高 5.8 个百分点,在 Task 扰动下高 15.1 个百分点。 在物理 Franka FR3 测试中,其平均成功率比基线高 40 个百分点,证明了共享接口的组合迁移能力。

  19. arXiv · ML39

    AgentCanvas 实现具身智能体架构自动化搜索

    研究团队提出 AgentCanvas 框架,在 MapGPT 等四个具身执行器中实现架构自动化搜索,KDLoop 在真实机器人上提升了成功率。 搜索发现的高容错观察处理在未见过的回合中保持有效,但部分增益在保留回合上不确定或反转,且利用评估端信息。结果确立了该搜索方法在具身智能体领域的潜力,并指出推广至真实环境的挑战。

  20. arXiv · ML36

    ForagerSim:评估大规模动态世界中的具身地图推理

    ForagerSim 是一个专注于需要地图推理的具身任务的研究平台和仿真环境,场景涵盖移动机器人搜救及动物觅食。 平台具有高模块化设计,允许独立修改感知(抽象 2D 到 RGB/LiDAR)、规模(房间级到多千米级)、拓扑、动态性及任务等难度维度。 在 8 个示例世界中的对比实验表明,当感知简化为 2D 时,学习策略在简单拓扑下表现优异,但在大型或复杂环境中落后于人类表现,证实地图推理是关键瓶颈。

  21. arXiv · ML37

    TILDE:来自具身基础模型的教师在线蒸馏方法

    TILDE 通过在学生引发的状态下进行在线策略蒸馏,并结合从教师执行恢复轨迹中学习,将具身基础模型(EFMs)的能力转移至无动作预训练的策略。 该方法提出的 AutoDAgger 自主数据聚合管道利用机器人奖励模型触发教师干预,相比人工监督方法加速了超过 2 倍的恢复轨迹收集。 在三项真实世界任务中,TILDE 相比行为克隆将任务性能提升了最多 4.1 倍,并支持有效的跨架构蒸馏。

  22. arXiv · ML43

    Skill-RSI:编译一次、运行廉价的冻结可移植具身智能体技能

    论文提出Skill-RSI协议,利用Claude Code离线编写并冻结具身智能体技能。在7个RoboTwin 2.0任务中,成功编译4个任务,单次技能编写成本为4.29至8.22美元。 冻结技能在新布局下保持148/150成功率。使用DeepSeek-flash调用时,单集成本低至0.00028美元。继承式修复在8/8受控实验中优于从头重写。

  23. arXiv · ML26

    CODES 框架实现弱监督下的组合机器人控制与运动风格发现

    研究提出 CODES 框架,通过弱监督共识编码与密度聚类自动发现运动风格库,并整合独立指令实现组合机器人控制。 框架经运动重定向将记录数据映射至 Unitree Go2 四足机器人,强化学习策略在两个模拟器及物理硬件上验证,动力学一致性显著提升,且能跟踪超出数据支持范围的指令。

  24. arXiv · ML37

    Language-Forcing:通过语义对齐全身体世界动作模型提升人形机器人操纵性能

    针对世界动作模型无法区分任务相关变化的问题,提出Language-Forcing训练策略,利用语言增强任务相关性。 在HumanoidArena基准中,该方法平均成功率达79.17%,比最强竞争策略高9.46个百分点。 真实任务中平均成功率从53.33%提升至71.33%,且训练期辅助组件不增加推理开销。