跳到正文
10月7日周三
  1. arXiv · ML20

    通用化密集奖励框架 VLLR 用于长时程机器人任务

    针对长时程任务中的分布偏移问题,研究者提出通用化密集奖励框架 VLLR,无需人工设计奖励即可提升机器人性能。 该框架结合 LLM/VLM 生成外部奖励以初始化价值函数,并利用策略自确定性作为内部奖励辅助 PPO 微调。 在 CHORES 基准测试中,VLLR 较预训练策略成功率提升最高 56%,在分布外任务上较最先进 RL 方法提升最高 10%。

  2. arXiv · ML23

    Reward as Observation 提出仅依赖奖励和动作的零样本策略,实现不同观测空间间快速适应

    该研究提出一种仅基于奖励和动作(rewards and actions)作为条件的策略,实现了观测空间完全不同的源环境与目标环境之间的零样本迁移。 在 Pointmass、Cartpole 和 2D Car Racing 环境中训练的该策略,可零样本迁移至不同配色或 3D 渲染观测,并用于指导目标环境中基于观测的策略训练。

  3. arXiv · ML20

    HARL-A:基于 IsaacLab 的异构多智能体对抗强化学习可扩展基准框架

    HARL-A 是一个构建在 IsaacLab 上的开源框架,支持任意数量团队和任意形态混合的对抗策略扩展训练与基准测试。 该框架包含模块化软件架构、Sumo、Soccer、3D Galaga 三个基准环境,并在 Hugging Face 公开发布了 10 多个预训练策略,支持零样本探索对抗学习动态。

  4. arXiv · ML27

    QF3:基于过滤 Q-梯度的快速 Flow RL 算法

    QF3 是首个能从零训练人形运动策略并零样本迁移至硬件的离策略 Flow RL 方法。 该算法通过过滤动作维度保留可靠的 critic 梯度,结合离线策略训练配方,较 FPO++ 实现 10 倍训练加速。 在 ABC-Sim 和 Robomimic 任务上验证了从演示微调预训练 Flow 策略的能力。

  5. arXiv · ML50

    BiGym 2.0:基于 Unitree G1 的人形机器人家庭操作策略基准

    BiGym 2.0 是适配 Unitree G1 的人形机器人家庭操作基准,覆盖 20 项任务并采用统一的全身控制器。 该套件为每项任务提供 60 段原生 VR 人类演示,并对比了视觉-语言-动作微调、模仿学习等 4 类方法。结果显示视觉-语言-动作微调在 9 项任务均值上最高,智能体开发程序在双手到达任务中领先。 所有环境、人类演示及评估轨迹均已开源。

  6. arXiv · ML23

    PG-VP:面向不可见辐射与温度风险的物理引导视觉提示 VLA 导航模块

    研究提出即插即用模块 PG-VP,通过叠加移动虚拟障碍物引导冻结 VLA 模型规避辐射或高温风险。 该模块无需模型重训练,在 OmniNav 数据集上分别以 6.8 和 7.9 个百分点的导航成功率代价,让策略在 84.9% 和 83.2% 的案例中选择低风险动作。 真实机器人测试表明,PG-VP 使平均轨迹安全性较热源和辐射源分别提升 63.45% 和 32.59%。

  7. arXiv · ML26

    具身 AI 智能体在无任务指令下自发涌现“游戏”行为的研究

    一项将现代 AI 编程助手置于未知数字岛屿的实验显示,在无任何特定任务、奖励或活动指令的情况下,该具身智能体开始主动操控其虚拟身体。 在长达 30 小时的运行中,13 个智能体表现出爬山、堆叠积木、绘制曼陀罗、重新诠释运动及进行物理实验等多样化行为,这些活动既重复出现又产生独特的历史演变。 研究探讨了此类自发行为是否满足经典游戏标准,并提出了游戏能否成为机器开发新模式的问题。

  8. arXiv · ML20

    OCBench:解析行为克隆现象的机器人操作基准

    论文提出 OCBench,一个具备可控脚本化策略的机器人操作基准。该基准通过模仿人类演示的关键属性,在受控设置中复现了行为克隆(BC)中的反直觉现象。 利用 GPU 加速环境和脚本化策略,OCBench 支持对先前报告的 BC 现象进行假设分析与证伪,旨在降低研究成本并提升可控性。

10月6日周二
  1. arXiv · NLP33

    VehicleArena 基准测试:LLM 控制下的城市多智能体驾驶

    VehicleArena 是一个 3D 城市驾驶基准,要求由 LLM 控制、具有独立目标的智能体在动态共享世界中完成乘客请求。 该基准包含 112 个单智能体与多智能体评估任务,测试了 9 种模型。 单智能体任务的最高到达率为 65.0%,多智能体任务为 65.6%;在多智能体对局中,所有测试策略均降低了周围车辆的到达率,产生了可测量的负外部性。

  2. arXiv · AI21

    MoRE:无推理时转向的机器人策略行为模式重定向方法

    提出 MoRE(Mode Redirection)方法,通过“去克隆”步骤将临时模式分类器的重定向信号蒸馏进策略权重,在八项仿真与真实任务中使平均部署成功率较原混合模式策略提升 44 个百分点。 该方法在零推理时开销下抑制了不期望的行为模式(如刀刃先递),并能在 Diffusion Policy 和 Pi0.5 VLA 等机器人策略骨干上实现泛化。

  3. arXiv · AI22

    具身智能时代的物理模拟器:机器人导航与操作综述

    一篇综述分析了物理模拟器如何应对具身 AI 中导航与操作的 sim-to-real 差距,重点关注以往综述较少涉及的模拟器属性,并梳理其硬件需求。 文章还分析了模拟器在导航与操作任务中的功能特性,并提供包含基准数据集、指标、仿真平台与方法的资源,帮助研究者在硬件约束下选择合适工具。 该综述已被 ACM Computing Surveys(CSUR)接收,共 35 页、9 张图。

  4. arXiv · AI22

    基于螺旋几何与多臂老虎机的机器人操作示教增量采集方法

    研究者提出一种让机器人主动、逐个请求示教演示的方法,直到能以高置信度确认可成功完成复杂操作任务,用户研究显示少于 10 个示例即可教会机器人规划任务。 该方法结合螺旋几何运动表示生成操作计划、基于 PAC 学习与多臂老虎机优化的采样策略评估子区域规划能力,以及从薄弱区域寻求额外示教的启发式。

  5. arXiv · AI34

    RV-ICL:面向智能体机器人的递归视频上下文学习

    研究者提出免训练的递归视频上下文学习(RV-ICL),将演示视频按抓取、释放等子事件构建成层级结构,供智能体按需读取,而非一次性塞入提示词。 该方法基于 RPent,在 LIBERO-PRO 上成功率从 92.6% 提升至 96.5%,在 LIBERO-Plus 上从 86.7% 提升至 95.8%,每个任务仅需一段演示视频。