MOMASPLAT:用于移动操作动态新视角演示增强的框架
MOMASPLAT 框架通过结合 3D Gaussian Splatting、前馈 3D 基础模型及基于运动学的动作重定向,为移动操作机器人合成包含动态物体交互的全轨迹新视角演示。
MOMASPLAT 框架通过结合 3D Gaussian Splatting、前馈 3D 基础模型及基于运动学的动作重定向,为移动操作机器人合成包含动态物体交互的全轨迹新视角演示。
VisionSIM 是一个物理驱动的多模态仿真平台,支持相机、事件、SPAD、iToF/dToF 及热成像等异构传感器。 它通过建模原始物理测量过程,复现 LiDAR 堆积、iToF 相位缠绕及事件相机死区等特定失效模式,并发布了包含同步原始测量值与地面真值的大型室内数据集。
该研究提出“形状教师对齐”机制,在训练时使用 Point-MAE 3D 特征指导图像策略编码器,部署时仅依赖图像输入。 在 LIBERO 基准上,该方法使预训练策略在 Object 和 Spatial 套件中的收敛速度分别加速 4.7 倍和 5.6 倍。 该机制通过向策略迁移几何结构,在无需部署深度输入的情况下提高了操作成功率。
该研究主张在训练时而非推理时使用世界模型,通过偏好蒸馏将预测能力融入快速策略。 具体采用离散视觉动作先验和两个任务对齐世界模型(社交动态和场景语义),通过组相对偏好蒸馏优化策略。 在部署阶段移除世界模型,策略通过单次前向传播实现更安全的导航和更类人的行为。
GraspBench 提出基于 MuJoCo 的评测协议,对 6 条抓取生成管线在 4 类机器人上完成闭环测试。 GraspGen 成功率达 73.1%,GPG 候选数量最多但成功率仅 44.3%,表明提案数量不等同于可执行性。 评测揭示了抓取表现受生成器、机器人形态及执行协议共同制约。
研究者提出 Concertina 这一具身视觉语言模型(eVLM),将连续轨迹表征直接置于共享扩散 VLM 主干的计算与参数路径上,取代传统解耦架构。该 4.46B 模型中活跃动作投影仅占 0.21% 参数,无独立动作生成器层。
具身编码智能体在标准暴露(CE)下虽能快速提高验证器评分,但该优势在标准微调后消失,且技能跨任务迁移能力差。 研究提出指令忠实标准,证明其比原验证器更能反映智能体生成代码的真实任务完成度。
一种两阶段“生成后排序”方法实现了具身智能体的目标解释,优于基础提示和思维链等基线模型。 方法使用 CORE 从模型自身生成的备选项中学习偏好;在家庭场景基准中测试了 DeepSeek-V3 chat、Qwen2.5-7B 和 Qwen2.5-72B 等开源 LLM。 论文被 ECC 2026 接收,涵盖人工智能、计算与语言及机器人领域。
智象元一CEO梅涛在论坛上提出构建智能体化的全模态世界模型,以跨越数字智能与物理智能鸿沟。 该模型由LLM决策大脑、Omni-Model模拟器及Embodied Context执行层协同,实现同一Token空间内思维与物理世界的统一。 这一架构旨在解决物理AI数据匮乏问题,通过合成高精度动作视频为具身智能提供数据供给,代表AI演进的全新方向。
InDex 框架通过引入显式的抓取意图条件,解决了预训练 VLA 模型从并行夹爪接口到灵巧手操作的适应性瓶颈。 在四个模拟任务中,InDex 配合 $\pi_{0.5}$ 使平均任务成功率达到 85.8%,比原生策略提升 35.5 个百分点;在真实世界策略中,平均成功率从 71.0% 提升至 83.0%。 研究识别出手臂与手的协同控制是应用灵巧操作时的关键可操作瓶颈。
论文提出 STRIDE 框架,用于自动化评估文本与行人轨迹在复杂语境下的一致性,无需依赖昂贵且难以扩展的真实人类轨迹数据。 STRIDE-Bench 包含 1000 个场景、6000 个行为问题及 11000 个基于 30 张真实地图的校准测量,人机一致性达 80%。 该框架揭示了现有文本到轨迹模型在细粒度语境条件下的局限性,为行人轨迹生成提供了原则性评估路径。
HALO 是一个通过流水线在 1000 个程序化生成住宅中合成视觉-语言-动作数据的人形机器人自主系统。 该系统获取了坐椅子、通过半开大门、爬桌下和推箱子等物理技能,并能在未经真实住宅训练的条件下,零样本迁移到物理世界,在 6 个未建图的真实环境中 360 次测试中达到 91% 的成功率。
{ "title_zh": "灵巧机器人手全面堆栈调查:从硬件、数据到基础模型评估", "summary_zh": "arXiv发布了一篇45页的灵巧机器人手全面堆栈调查,其涵盖面从硬件、数据收集、跨实体迁移到学习基础模型与评估应用五大互依层级。
CoSafe 提出模块化协作运行时安全保证框架,利用 V2X 通信在场景层面共同缓解多车交互隐患,突破传统以自我为中心的接管局限。 集成七种先进自动驾驶系统后,CoSafe 在 InterDrive 基准上平均提升驾驶得分 70.03%,降低安全违规 87.80%,并以 0.930 的 F3 分准确识别不安全车辆,满足实时性要求。
论文提出无 rollout 指标 RACE,利用固定保留成功轨迹对动作偏差进行状态条件校准,并通过累积评分聚合,以解决验证损失与部署性能不一致的问题。 在模拟和真实机器人上,RACE 在不同验证源和策略骨干上表现优于基线;扰动分析显示,相比基线,它能更有效地区分对任务成功率影响显著不同的偏差。
OdorSpaces 是一款结合视觉与嗅觉信息的具身导航物理仿真平台与基准,已获 CoRL 2026 接收。 该平台扩展 Habitat-Sim,利用 Fire Dynamics Simulator 模拟 3D 气味传输,支持气体泄漏定位等场景。 测试表明,初步的多模态强化学习策略优于多样基准模型,确立研究参考。
研究人员提出 MESA 评估框架及基于改进版 MimicGen 的 MESA-Gen 生成管线,并发布了双臂基准 BiMESA。 该框架通过五个测试套件隔离四种泛化轴,评估了包含扩散策略和预训练 VLAs 在内的七种基线方法。 最强模型在 MESA 与 BiMESA 中分别仅获 52% 和 49% 成绩,排名与 RoboArena 分数一致。
Jev-AD 结合类型化决策模型 Jev 与语言世界模型,通过预判候选动作后果提升驾驶安全性。 模拟高速合流中,碰撞率从 26.0% 降至 2.4%;NGSIM 真实数据回放中,碰撞率从 48.2% 降至 2.8%,世界模型预判 93% 的危险动作。 该模型在 0.25 秒决策周期内,实现了 93% 的自由指令意图满足率。
大晓机器人联合南洋理工大学S-Lab发布世界模型Mundo。该模型支持输入1至12张图像构建可探索三维空间,并将物体质量、摩擦等物理属性纳入场景程序。Mundo通过物理引擎计算运动碰撞,结合视频模型渲染,使场景能响应动作。此能力为机器人导航与操作训练提供环境支持,助力其进入商业场景。
该研究提出一种自监督方法,利用 VLA 模型零样本生成的在线交互轨迹作为额外训练数据,以解决新硬件部署下的性能下降问题。 方法使模型继承预训练任务、提升专家任务成功率,并缓解对非微调任务的遗忘。在 ALOHA 机器人和 RoboTwin 基准上验证了泛化效果。
DynaFLIP 提出动力学感知多模态预训练框架,通过图像-语言-3D 流三元组监督训练纯图像编码器,将运动理解前置至感知层。 该方法在共享超球面空间最小化三模态单纯形体积,结合余弦正则化与对比目标,表征在下游 VLA 策略中表现优于基线。 在多样仿真与真实场景中验证,分布外(out-of-distribution)场景性能提升达 +22.5%。
DexCanvas 是一个混合数据集,包含 7000 小时的手指灵巧操作,具有每帧接触点和力。 该数据集由 70 小时的光学动作捕捉扩展而成,涵盖了 21 种操作类型,通过 RL 策略在物理仿真中测量接触力。 接触驱动的重定向可将演示传输至两个灵巧机器人手,首次公开的 111,857 条轨迹可在 Hugging Face 获取。
研究提出结合逆强化学习的一致性模仿学习,改进基于行为克隆的大模型。 在6个稀疏操作任务中,该方法使 pi-0.5 维持或提升性能,其中5个任务成功率达90%以上。 机器人真实测试中,pi-0.5 仅需30分钟以内交互即可微调成功。
GSBR(几何支持行为正则化)通过按动作与基础策略支持集的动态距离施加平滑惩罚,有效平衡在线强化学习中的样本效率与学习稳定性。 该方法允许支持集内的动作无惩罚,仅在价值估计低的外部区域逐渐增加约束,且只需访问基础策略样本即可实施。 在4个机器人基准的19项任务中,GSBR将平均成功率从基础策略的33%提升至95%,其归一化吞吐量比次优强化学习方法高约23%。
CRONOS 提出用于视觉-语言-动作(VLA)模型非情节式场景重置强化学习微调的高保真物理模拟基准。 研究发现直接微调预训练策略会因物体配置和末端执行器位姿偏移而失败,但可通过针对性重置分配和纠正偏差加以缓解。 非情节式训练增强了长程操作能力,并提升了对未见物体配置和任务序列的泛化性。
3D World Simulator 框架通过混合粒子体素自编码器与动作条件潜在动力学模型,统一预测外观、几何和触觉观察。 该模型在统一 3D 表示支持下实现 50 Hz 的交互式长时域多模态预测,并可用于策略训练的数据生成。 该方法扩展至包含多样化物体和机器人配置的大规模数据集,支持模型基于规划,验证了混合粒子体素动力学在 3D 世界模拟中的基础潜力。
Aero-VPA 在 PX4 仿真中完成首次闭环评估,DAgger 策略成功率峰值 21.1%。 配合 15 秒深度记忆地图免运维护栏,成功率升至 52.2%,崩溃率降至 22.2%。 72.6 MB 策略代码与数据集已开源。
该研究提出首个元学习对抗模仿学习算法 DAIL,利用 LLM 引导的进化框架发现数据驱动的奖励分配函数。 DAIL 能在未见环境及策略优化算法中泛化,性能优于当前基于人类设计的 SOTA 基线。 论文分析了 DAIL 带来更稳定训练的原因,代码已公开,文章被 ICLR 2026 接收。
视觉扰动可改变推理 VLA 模型的物理动作,同时保持自然语言理由逐字不变。 研究人员在 Alpamayo 和 InstructVLA 上验证了 Text-Neutral Action-Subspace (TNAS) 诊断方法,发现该方向的动作敏感度远高于文本梯度扰动。
一项被 CoRL 2026 收录为 Spotlight 的研究提出贝叶斯框架,将机器人交互中的自然语言意图消歧视为针对信号时序逻辑(STL)任务规范的主动学习问题。
DEED 框架在 Unitree G1-Edu 机器人和 GR00T N1.6 模型上完成超市补货任务,通过单一 GPU 实现了从实验室到真实环境的有效迁移。 该框架包含数据高效后训练管线、基于 RECAP 的经验驱动改进及潜在空间分析工具,显著降低了对大规模数据及架构的依赖。 研究指出,弥合实验室与门店差距核心在于系统整合,精细的数据设计与针对性的后训练可替代单纯架构优化。
提出 CLAP 方法,通过在动作序列前添加自然语言描述,以最小架构变更将 VLM 适配为 VLA。 2B 模型在 LIBERO 基准上达 90.8%,较 VLA-0 提升 14.9 分,真实 UR5e 机器人成功率从 15% 提升至 60%。 已开源 0.8B、2B 及 4B 多尺度模型,便于分析 VLM 能力迁移。
DuoBench 是一个针对 FR3 Duo 平台的双臂操作策略可扩展基准框架,包含 11 项任务,涵盖模拟和部分真实环境。 采用分阶段评估方案,支持细粒度语义失败分析;现有模仿学习策略在双臂协调和仿真到实机迁移中仍面临挑战。 DuoBench 提供了可复现测试床,用于分析双臂策略学习中的失败模式。
提出分阶段多智能体训练(SMAT)方法解决外骨骼共适应问题。 该方法采用四阶段课程训练肌肉骨骼模型,将模拟髋部肌肉激活平均降低 10.1%,在 6-9.3 Nm 扭矩下提供 13.6-23.8 W 正向机械功率。 经 IROS 2026 接收,该策略无需针对特定用户重训即可实现一致辅助。
本文提出一种语义与策略双驱动的混合决策框架,结合 Large Multimodal Models(LMMs)进行语义理解与认知表征,并融合深度强化学习实现实时策略优化,从而突破仅在具身智能驾驶中依赖 LMMs 的局限,支持持续学习与联合决策。
该论文提出Flow Equivariant World Modeling框架,利用时间参数化对称性构建潜变量记忆,以稳定准确预测长时间跨度下的环境动态。 潜变量记忆随自身运动和外部物体推断运动进行等变变换,确保视野外区域信息对齐;该框架在2D和3D部分观测视频世界建模基准上优于当前最先进的扩散、记忆增强及循环世界模型。
DreamX 利用预训练视频扩散模型作为通用潜在动作学习者,在 LARY-Bench 基准测试中取得潜在动作模型的最先进性能。 该方法将视频帧压缩 300 倍(从 1,200 到 4 个 token),提取解耦视觉外观的潜在动作,支持跨形态的零样本动作迁移。 这种共享动作接口实现了任意到任意的视频迁移,并降低了基于视频扩散策略的计算成本。
PyRUA-DataFarm利用LLM Agent代替人工进行机器人数据采集,在5项任务中,仅用农场数据训练的模型达到93/100成功率,优于遥操作的84/100。 Agent编写场景与控制器,视频模型生成一致多视角数据。单任务API成本约$21,单集数据平均$0.80,无需机器人或操作员参与。
提出异步机器人策略(ARP),解耦语义推理与低层动作生成以解决实时性瓶颈。 高容量 VLM 低频更新语义记忆,轻量级专家高频生成动作;在 Franka 任务中成功率提升 18%,动态模拟性能为基准 3-5 倍。 VLM 可降至名义频率 10 倍以下运行且无显著性能损失,实现高效部署。
提出通过 3D 几何抽象将机器人常规空间推理从图像转移至文本和符号,以提升多步操作完成率。 接口利用校准 RGB-D 生成带类型和证据的符号引用,并在动作后返回紧凑文本检查点,减少了重复多模态查询。 研究结果被 CoRL 2026 会议接受,证实了显式几何状态是机器人智能体策略的有效基础。