$\pi_{0.5}$ 中单 token SAE 引导的目标编辑及其深度限制
在 $\pi_{0.5}$-LIBERO 环境中,通过替换单个目标词的 SAE 特征(如 BatchTopK 交换)可实现机器人任务重定向,在特定场景中 20/20 次 rollout 均被引导至替代任务,显著优于随机特征交换。
在 $\pi_{0.5}$-LIBERO 环境中,通过替换单个目标词的 SAE 特征(如 BatchTopK 交换)可实现机器人任务重定向,在特定场景中 20/20 次 rollout 均被引导至替代任务,显著优于随机特征交换。
AuroraWorld通过结构化4D世界建模,从大规模外向操作视频中合成物理一致、策略相关的内向(egocentric)视频,解决现有方法在大幅视角变换、严重遮挡等场景下的局限。 其核心在于为机器人视觉运动策略学习提供可规模化获取的内向观测数据,替代高成本的外向视角部署。
研究人员提出 CEDA 算法,结合 CTDE 双深度 Q 网络与 QMIX 混合网络,用于灾害响应中的多无人机医疗物资投递。 该算法引入优先级保持公平调度策略,在 5 架无人机服务 50 名患者的模拟环境中,实现了超过 95% 的患者投递率,并显著降低碰撞风险。 PX4 软件在环验证表明,该策略在连续模拟飞行及延迟动作条件下仍能保持分诊感知行为。
论文提出视角不变的视触觉预测模型 FlowTouch,旨在通过视觉信息预测触觉信号以支持接触密集型操作。 该模型利用物体局部 3D 网格编码丰富信息,并整合场景重建与基于 Flow Matching 的图像生成模型,从细节中抽象出场景依赖性。结果显示 FlowTouch 能弥合从模拟到现实的差距并泛化到新传感器,其生成的触觉图像可用于下游抓取稳定性预测。
∇Mimic 利用可微仿真引擎 NablaEngine 实现人形机器人策略学习,单卡 20 分钟达成 SOTA 0.82 分数,较原 1.2 小时大幅提效。 NablaEngine 为 Unitree G1 设计,计算 MuJoCo 接触动力学及伴随方法,速度比现有 MuJoCo Warp 伴随方法快 11.5 倍,且支持 1.8 小时训练至 0.874 分数。
提出SACQ量化框架,在1.5 bits下LIBERO成功率达93.85%,内存降低4.83倍。 结合结构感知码本与动作感知混合比特分配,配合INT8激活量化后速度提升1.51倍。
提出规格感知的动作分布优化框架,在不修改预训练机器人基础模型参数的前提下,强制执行 Signal Temporal Logic (STL) 约束。 该方法在每一步决策时计算最小化修改的动作分布,满足硬 STL 可行性约束,并通过前向动力学传播推理剩余时域。 已在仿真环境中结合最先进的基础模型和复杂规格进行验证。
提出层级世界模型 ID-WM,解耦状态空间可达性与局部控制,通过隐式动力学实现具身智能体的测试时适应。 在导航和操作基准测试中,该方法比现有最先进的策略和扩散规划器性能提升 38.5%。相比单层级世界模型 MPC,在复杂长时序任务中性能提升 135%,有效缓解了累积误差。
RoboArchitect 自动化设计冻结策略外的 agent harness,在未见场景中将从 9.7% 提升至 43.3% 成功率,未见任务中从 12.7% 提升至 40.2%。 该系统让编码模型通过观察 rollout 和诊断失败来迭代优化 harness,无需更新任何模型权重即可生成持久记忆与直觉控制策略,如避开障碍的横向抓取。
综述指出,通用型具身智能需超越单纯感知与推理,通过保留、检索和更新历史信息来应对动态环境。研究将现有方法按六项基本记忆要求和八类架构进行系统梳理,并区分了对历史信息的真实使用与一般任务表现。
研究在LIBERO-Goal仿真中测试6个VLA模型检查点,发现即使指令为空,所有机器人均会启动移动,其中5个常完成非指定任务。 在GR00T检查点上,指令仅决定任务类型而非是否移动;测试的3种抑制方法中,前缀无效,门控法在5/6场景中有效,微调法虽防止非任务完成但无法稳定保持静止或抑制不可行指令下的启动。
研究者提出免训练推理方法 STAR,通过指数移动平均引导预训练视觉语言动作模型(VLA)后期层的动作表示,提升任务成功率 4.0 个百分点。 该方法允许后期动作表示继承早期层中具备物体感知能力的更新方向,并结合最近的本体感知状态自适应调整混合强度。 STAR 提高了机器人操作基准测试中后期层的物体感知能力,代码已开源。
CausalWAM 通过添加稀疏路由路径将动作生成与场景预测分离,证明在稀疏约束下动作潜变量仅依赖动作相关潜变量。 该方法无需假设时间依赖性,在合成数据与真实机器人实验验证了理论,并提升了闭环执行效率。
在 Cosmos Policy 和 RoboCasa 上,学习值选择器比随机选择低 1.66 pp,hindsight oracle 仅增益 1.40 pp,82% 状态候选结果一致,选择空间有限。
引入状态仿射隐空间转换模型 SALT,通过递归多步 rollout 监督训练,解决视觉规划中预测误差传播问题。 SALT 在一步预测误差上比 LeWM 基线高 1.48–2.19 倍,但在 4 个环境中闭环成功率平均提升 10.0 个百分点。 在 OGBench-Cube 上,执行后成本急剧上升导致失败的 episode 比例从 23.3% 降至 2.0%。
提出RE4框架,基于操作模式检索和转换演示数据集,在模拟和真实机器人测试中优于基线。 框架包含姿态估计、模式感知检索、模式感知转换和重规划四个步骤,在Push-T、Robomimic和MimicGen等基准上验证了鲁棒性。 结果证明可解释性构建模块对物体交互操作技能学习有益。
LPS 通过通过可微单步 MeanFlow 策略反向传播原始动作空间 Q 梯度来更新潜在动作空间 actor。 该方法摒弃代理潜在 critic,利用原始动作空间 critic 引导端到端优化,MeanFlow 策略作为行为约束生成先验。 在 OGBench 和真实机器人任务中,LPS 取得 SOTA 性能,优于行为克隆及潜在导向基线。
CoAWM 框架通过学习跨具身时空动力学先验,支持机器人在不同本体和执行频率下的动作生成,其核心是共享潜函数空间。 该框架分两阶段学习:首先通过函数预训练将不同本体的轨迹映射到共同表示,其次将预训练函数空间与世界模型骨干连接,使观察、语言指令和机器人状态能条件化预测动作。 这种将共享动力学先验与任务条件动作选择分离的方法,为跨本体和控制频率的机器人经验迁移提供了统一基础。
提出 LLM 引导的四足机器人平面操纵方法,利用 LoRA 微调语言规划器并配合端到端全身推动策略。仿真中成功率达 93.3%,较分层基线减少超 60% 完成时间;硬件测试 45 次试验中 44 次正确组合技能。
Event2Reward 提出结合绝对与相对进展监督方法,在四个 LIBERO 套件中,通过稀疏奖励训练将平均策略成功率提升 18.16 个百分点。 该方法利用约 100K 条真实机器人记录构建事件注释数据集,无需逐帧绝对进展标签,通过事件内进展关系约束局部变化。 在真实机器人上,30 分钟训练后精确插入任务成功率达 60.0%,物体操作任务达 90.0%,均显著优于基线。
提出级联技能优化(CSO)后训练框架,将LIBERO总体成功率从80.1%提升至97.5%,并在RoboTwin2.0及五个物理单臂任务中达到61.0%成功率。 该框架包含两阶段:拒绝采样监督微调对齐观测到技能映射,以及冻结观测编码器下的技能策略优化,确保更新稳定。 该方法有效解决VQ-VAE量化误差导致的先验分布次优问题,为机器人操作提供可靠的后训练路径。
summary_zh: 研究收集1616集水下操作数据训练14个VLA模型,在泳池任务中最佳模型成功率为93.3%。 案例研究显示单任务ACT策略(47.9%)显著优于通用SmolVLA(7.9%),相关工具已开源。
该研究提出名为 FORGE 的两阶段学习框架,结合在线降阶模型参考生成与全身追踪控制,在 Unitree G1 人形机器人上实现敏捷行走。 第一阶段利用单刚体动力学训练命令条件式全身参考生成器,第二阶段冻结该策略在线生成参考以训练全阶动力学全身追踪策略。
研究人员提出 Coupled Guidance,一种基于几何视角的流匹配专用引导机制,通过利用训练中的耦合结构,解决了直接移植扩散引导导致的不稳定性问题。 在 ManiSkill3 机器人避障、Adroit 灵巧操作及 ImageNet-128 图像生成任务中,该框架在无任何额外开销的情况下,提升了样本质量与引导稳定性。 该工作已被 NeurIPS 2026 接收,论文共 25 页。
该方法将动作分块轨迹表示为平滑基函数的线性组合,在保持策略架构与推理过程不变的前提下,通过构造性平滑降低抖动。 在 one-shot ACT 骨干上降低约一个数量级、iterative DiT 骨干上降低 2.4 倍的 chunk 内部 jerk;条件化校正可消除 73%–84% 的 chunk 边界不连续,且单步开销可忽略。
论文提出TGTV框架,整合时空图学习与大语言模型,用于固定翼无人机的可解释故障检测与追溯。 在ALFA公开数据集上,该框架窗口级检测的AUPRC达0.976,准确率0.973,召回率0.902,F1分数0.920。 飞行级故障诊断召回率达0.943,F1分数0.944,为可解释的飞行后故障分析提供了依据。
针对 PPO 在处理长周期、接触密集型任务时因缺乏动作判别力而停滞的问题,论文提出一种条件化动作价值评估器。 该评估器允许在同一状态下对比已执行动作与采样动作,结合广义优势估计(GAE)限制探索噪声,使算法能突破局部极小值。 在同等训练预算下,扩展后的算法成功完成了精确销钉插入任务,而 PPO 失败。
研究显示,保留经验证的闭环机器人策略代码可提升新任务成功率。 在 RoboCasa 中,使用验证选定的源代码将目标任务成功率从 41.5% 提升至 57.0%。 该方法在物理 Unitree G1 上验证了学习过程,证明优化源代码能助益新策略获取。
论文提出证据获取与可行性门控(EAFG)框架,结合视觉语言模型和任务运动规划(TAMP)。 EAFG 通过执行 TAMP 规划的动作序列获取视觉证据,据此决定继续规划或停止。 在三种烹饪场景中,该框架提升了任务完成率,并能在缺少必要物体时适当停止。
在 MATRX 城市搜救环境中,利用历史协作模式构建的知识图谱情景记忆,可使救援成功率从 25.7% 提升至 41.3%。 该方案通过图表示学习自动选取代表性记忆初始化机器人,平均任务时间减少 283 秒。 这一机制显著改善了交互初期的人机协作效率,有助于平滑早期团队磨合。
ADTT 通过显式对齐历史 triplanes 并预测残差变化,在 Occ3D-nus 上实现了 SOTA 预测性能。该方法采用 ego-motion 补偿,使用查询条件 Transformer 仅预测场景变化,从而减少参数并提高 FPS。代码已公开。
研究人员提出Bilevel Representations for Agent Interaction Dynamics(BRAID)模型,这是一种用于生成式多人交互的分层序贯潜在变量模型。 该模型将社会动作生成公式化为元迁移学习问题,通过组级和个体级潜在状态,实现全量、稀疏或部分观测下的连贯生成,并可用于社会预测、追踪及反应生成任务。
WNM-3D 是一款用于连续视觉-语言导航(VLN)的生成式世界导航模型。该模型在 GN-Bench 和 VLN-CE 基准上表现优于匹配的 WNM-2D 基线及强力 VLN 对比方法。
Gym-Anything for Robotics 框架引入代码智能体自动构建机器人模拟环境,并发布了包含 25 个测试和 175 个训练环境的 RoboWorld。 即使最强前沿模型在所有 RoboWorld 测试任务中的平均奖励仅为 0.06,但通过引入在上下文学习和特权教师等方法,模型性能得到显著提升。 作者已开源该管道、RL 环境和基准测试以促进后续研究。
该研究提出BURGER基准,用于评估视觉-语言-动作(VLA)模型在语言条件绘画任务中的泛化能力,其核心是在相同空白画布上根据指令控制机械臂绘制指定物体。 实验使用28,200个模拟演示和282个绘画任务评估5个代表性VLA模型,揭示了各模型在语言接地、空间组合和动作生成方面的不同失败模式。
本文提出了一种混合 MPC 和强化学习框架,用于自主卡车的高速公路驾驶。 该框架利用预训练的强化学习模型为有限时域 MPC 提供终端成本估计,在模拟环境中与纯 MPC、纯强化学习等基线进行了对比。 结果显示,该混合方法在所有配置中实现了零碰撞且成本最低。
UMI-Live 是一套面向野外场景的全栈开源双臂 UMI 数据采集系统。 该系统硬件集成相机与 LiDAR-惯性传感、本地计算及电源,无需外部追踪设备或现场标定;软件支持双-YAM 遥操作及 VLA 策略训练与推理。 通过微调 π_0.5 和 MolmoAct2 模型,在双臂拾取放置任务中分别达成 10/10 和 8/10 成功率,并公开了 40 小时跨三种任务的数据集。
WorldFlow 是一个生成式世界模型,通过统一的 Mixture-of-Transformers (MoT) 骨干联合预测未来视频和基于查询的 3D 轨迹,解决了现有模型 3D 动力学隐式及动作绑定特定机器人配置的问题。
具身智能体跨任务经验迁移困难,EmbodiExp 框架通过构建可迁移经验实现在线组合执行。 该框架引入结果导向的子目标经验,包含子目标、适用条件、自适应策略及可验证结果。 在线执行中,适用经验引导动作生成,已验证结果满足后续经验条件。
Tactus手套通过集成电容式触觉传感器与IMU融合姿态追踪,解决了现有平台缺乏校准指尖力传感且易受遮挡影响的问题。 其指尖最小可分辨力为0.59N,灵敏度较商用基线高1.6至2.7倍,且交叉参与者一致性达0.87;在重度遮挡下,指尖关键点相对误差维持在11.0mm,支持滑移检测与物体属性估计。