BATCH:基于人类演示的跨本体行为对齐学习框架
提出 BATCH 跨本体学习框架,利用人类演示数据提升机器人操作任务泛化能力。 框架通过自监督时序表征和循环一致性目标建立人机对应,无需人工标注。结合行为对齐协同训练和风格迁移,在未见任务配置上优于基线。
提出 BATCH 跨本体学习框架,利用人类演示数据提升机器人操作任务泛化能力。 框架通过自监督时序表征和循环一致性目标建立人机对应,无需人工标注。结合行为对齐协同训练和风格迁移,在未见任务配置上优于基线。
在 PushT 环境中,Beam search 使冻结 ACT 策略的任务成功率从 0% 提升至 18%,平均累计奖励从 39.44 增至 103.2。 提出 One Step Ahead (OSA) 门控机制,在保持或提升成功率的同时,较全量 Beam search 将运行时间缩短约 3 倍。 消融实验表明增加搜索预算并不一致地改善性能,未来工作将扩展至语言条件 VLA 模型及物理机器人。
PersonaDrive 提出了一种从人类演示中获取驾驶风格的视觉-语言-动作(VLA)代理,在 Bench2Drive 基准上比 SimLingo 提升 4.6% 驾驶得分。 该模型基于 15 名参与者的 CARLA 演示数据训练,通过 FAISS 索引切换风格无需重训,激进而保守风格下平均速度提升 19.8%。 数据集与模型权重已在项目页面开源,研究被 WACV 2027 接收。
论文提出人形机器人交互原型 KR A1,整合 Qwen2.5-3B-Instruct、OpenVoice v2 及双层情绪处理管道,面向心理健康护理场景。 采用 InsightFace 人脸识别与 FAISS 向量检索实现用户个性化交互;当前评估仅涉及语音克隆的八项声学相似度指标,未进行临床部署。 情绪识别准确率、系统延迟及临床效果尚未评估,相关测试均为开发团队非正式自测,未涉及外部参与者。
UC Berkeley BAIR团队将于2026年11月在CoRL会议上展示33篇主会论文和4篇Late-breaking posters,涵盖机器人学习与多模态智能。 会议期间将举行Early Career Keynote演讲,并设多个专题分会场探讨Agentic Robotics与多尺度具身记忆。
NVIDIA 在 CoRL 会议上推出了 GR00T 2 世界动作模型和 Isaac Lab 3.0 机器人学习框架,用于提升机器人在精细操作和工业自动化中的表现。
推荐理由:官方发布了 GR00T 2 等机器人模型及 Isaac Lab 3.0,展示了通过仿真训练和 Agentic 工作流提升机器人操作精度的方法。
NVIDIA 宣布投资 Point2,并计划投资 Motif Technologies、RLWRLD 和 Upstage。 覆盖 AI 基础设施、物理 AI、基础模型和企业应用全栈,基于 NVIDIA Inception 项目与韩国创业生态合作。
NVIDIA 正结合韩国制造与工程优势,通过加速计算、AI 与仿真推动 Physical AI 从开发走向实际生产。
论文提出Fast-TD-MPC框架,在103个连续控制任务上以约4倍推理速度实现与原MPC规划器相当的性能。该框架借鉴双系统认知理论,将高速策略执行与测试时规划自适应路由,仅在需要时启用高成本推理。 在外部扰动下,Fast-TD-MPC可自主选择回退至完整规划器,维持了接近原规划器的鲁棒性。
研究提出 LAG-Fusion,一种针对非同步多模态扩散策略组合的延迟感知融合框架。该框架允许模态特定策略以原生推理速率运行,并通过参考系重基准规则对齐延迟的预测去噪指导信号。 实验显示,LAG-Fusion 在接触密集型操作任务中,结合低频视觉策略与高频力控策略,其响应性和任务性能优于同步融合及专门设计的力感知基线。
NoContactNoWorries 是一个基于 Transformer 的多模态框架,融合 RGB-D 视觉与机器人本体感知来推断二元接触状态,作为伪触觉信号用于手物交互。 该方法在模拟环境和真实机器人上验证了可行性,推断出的接触信号支持下游强化学习代理完成手持物体重定向,并能泛化至新物体。
提出闭环安全关键交通生成框架 RiskFlow,将未来行为生成重构为动作空间内的一步流传输。 利用碰撞时间排序选择高风险代理,并通过对抗交互目标优化输出动作。在 nuScenes 数据集闭环评测中,RiskFlow 实现了安全性与真实性的良好平衡,并大幅缩短了推理时间。
RigidFormer 提出了一种基于 Transformer 的无网格刚体动力学学习模型,通过对象中心推理和紧凑锚点推进物体状态。 该模型利用锚点-顶点池化丰富局部几何特征,并采用基于锚点的 RoPE 保持对象顺序无关性,通过可微 Kabsch 对齐强制刚性约束。 在标准基准测试中,RigidFormer 使用点输入优于或持平基于网格的基线方法,运行速度更快,并扩展至 200 个以上物体。
该系统将学习控制器和神经 3D 安全监控集成到传统工业工作流中,在电机生产线自动化了柔性电缆插入与焊接。 每任务仅需不到 20 分钟真实世界数据,即可连续运行 5 小时 10 分钟,生产 108 台电机,并在无物理围栏条件下达到 99.4% 的产品级质检通过率。 结果证实了通过基于学习的方法扩展工业自动化可行路径。
研究结合通用价值函数近似器,训练出在运行时可由用户选择特定风格(styles)的智能体。 框架在《Horizon Forbidden West》、《Gran Turismo》及开源人形域中验证,智能体能强关联风格需求并完成任务。 源码开放,用户可在终端灵活控制最终执行表现。
SURE 是一种数据高效的视觉-语言-动作(VLA)训练框架,通过显式建模空间和时间不确定性来降低对演示数据的依赖。该框架结合轻量级转置卷积概率动作解码器与 Soft-DTW 对齐监督,以捕捉动作间的局部相关性并适配时序差异。在 LIBERO 和 RoboTwin 2.0 评测中,SURE 仅使用 10% 的演示数据或 20% 的训练步数,其操作成功率即可匹配或超越基线模型。
ToolDex 发布,这是一个大规模 Ego-Exo 人类演示数据集,旨在支持创意物理工具使用。 数据集通过同步第一视角相机与八个多视角相机捕获高保真多视角观察,并为手、工具及目标物体提供丰富标注。 它确立了涵盖物理工具使用推理、稀疏视角重建及机器人策略学习的基准测试套件。
研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。
通用 AI 驱动的 AMP1 框架在 RoboLab-120 上以 85.6% 的零样本成功率超越了领先的 VLA 和 WAM 模型。 AMP1 支持单臂、双臂及移动操作,且无需演示或任务专用训练。该智能体可自主进化抓取、推挤等技能,并借助持久化记忆将 RoboDojo 双臂任务失败率降低 4.6 倍。
基于采样的机器人控制策略会利用基于人类偏好训练的奖励模型,在 HalfCheetah 和 Meta-World 等环境中导致真实回报最高降低 76%。 测试发现,使用人类标注时抽屉任务成功率从 10/10 降至 0/20,而留出集标注准确率保持在 0.75-0.97。
该研究提出 Q-OIL 方法,通过在强化学习干预转移中加入乐观奖励,实现比竞争基线更高的成功率。 Q-OIL 在模拟环境及真实机器人上的成功率提升 10-50%,并改善了两个双臂操作任务的预训练 VLAs。 解耦 Critic 对稳定性至关重要,该方法为可扩展的机器人干预学习提供了实用路径。
一项涵盖9项操作任务和631种配置的受控模拟研究指出,Agentic Robotics 自我学习循环的瓶颈在于将信息解释为正确的策略更新。 该研究通过28K次 coding agent rollouts,分析发现成功的关键在于归因失败、推理空间几何结构及选择性重构代码。
STRIDE 提出了一种基于加速度奖励的人形机器人运动学习方法,仅需板载 IMU 即可在数分钟内完成训练。该方法结合 XQC 算法和高增益关节控制,在 Unitree G1 和 Booster T1 上 14 分钟内学会行走,较无对称增强和特定组件的训练减少 81% 的摔倒次数。
计算机使用智能体(CUA)可执行具身任务,在四个 ECCV 工作坊竞赛中包揽第一至第六名奖项。 通过渲染物理环境视图并提供控制,仅更换软件而未对智能体进行特定微调。 这表明 CUA 的视觉定位与点击技能可迁移至具身任务,推动具身 AI 走向单一通用模型时代。
提出双专家离线模仿学习框架 DexDICE,利用安全合规与高回报演示数据,结合分布约束提升离线模仿学习性能。 采用 DICE 式离线学习与安全支撑约束,证明理想解在高概率下避免进入不安全区域。在 DSRL 基准及真实移动机器人导航任务中验证,显著优于基线且抗数据稀缺与质量退化。 被 NeurIPS 2026 收录。
Augmentron 是一种几何感知管线,通过生成可重用场景表示并基于记录相机位姿渲染,实现时间上和多视角一致的环境与工作台变化。 该方法在保留机器人、任务物体、动作及标注的同时,在三个物理操作任务中,用一半真实数据替换为 Augmentron 数据后提升了模型成功率。 在针对分布外干扰物体和工作台变化的评估中,其池化成功率在三种条件下均高于其他增强技术。
GigaBrain-WBC-0.5 团队提出首个支持环境交互的行为世界模型 InterTrack,采用 Transformer 架构预测下一动作、状态及行为分布。在复杂地形交互中,其成功率达 81.3%,优于最佳基线 4.3 倍,且跌倒恢复率达 99.3%。该模型实现了人形机器人实时跨地形全身遥操作,并具备物体交互及支持缺失下的稳定响应能力。
CTS-MoE 提出感知门控密集专家混合架构,将多地形运动建模为多任务强化学习,实现行为平滑过渡。 软路由组合专家知识,分离评论器隔离异构目标;教师-学生机制将特权地形信息迁移至板载深度感知,部署时无需地形标签。 相比层级与 DAgger 蒸馏基线,成功率升至 93.3%,平均动作 jerk 降低约三分之一;在 Unitree Go1 上完成 10/10 次室外扩展课程。
ActQuant 提出行动引导混合精度 PTQ 框架,在 LIBERO 基准上以 3 bpw 以下保留 OpenVLA-OFT 95.0% 性能。 通过 2.5 bpw 将主干压缩至 2.7 GB,实现 5.3 倍加速,并在 UR3 机械臂上保持基线成功率。
提出事件锚定的 SAE 可解释性流水线,将特征分析与闭环行为事件对齐而非文本上下文。 在 OpenVLA 和 $\pi_{0.5}$ 模型中,该方法的排序产生最强因果效应,并能转移至连续动作块。
summary_zh: VTAM 提出一种无需触觉或动作预训练的高效视触世界-动作模型,在四个真实机器人任务和八个 UniVTAC 仿真任务中超越所有未使用触觉预训练的基线。
RoboCurate 提出利用模拟器验证动作一致性的框架,以缓解视频生成模型中合成数据动作标签噪声问题。 该框架结合逆动力学模型在模拟器中执行并验证动作,并利用 VLM 过滤物理上不合理的生成视频。 在 GR-1 桌面、DexMimicGen 等基准测试中,该框架显著提升机器人操作成功率,部分场景相对提升达 90.3% 至 179.9%。
研究者提出 WoVR 框架,利用受控的世界模型模拟器解决 VLA 策略强化学习中闭环想象 rollout 的幻觉与误差累积问题。 框架通过可控动作条件视频世界模型、关键帧初始化 rollout 及世界模型-策略共进化机制,实现稳定长程模拟与高效策略优化。 实验显示 WoVR 在 LIBERO 基准测试中性能优越,并在多个真实机器人平台上带来一致性能增益。
LSD-3D 提出了一种直接生成具有准确几何的大型三维驾驶场景的方法,实现了包含物体持久性的因果新颖视图合成。 该方法通过结合代理几何与环境表示的生成以及从学习到的二维图像先验中的分数蒸馏,实现了对几何和高分辨率纹理的高可控性,可基于地图布局进行条件生成。
Social Humanoid是一个分层系统,能让29自由度Unitree G1机器人根据人类伙伴动作生成并执行全身运动。 该系统通过共享令牌化表示进行序列建模,预测被遮挡的伙伴动作;利用两阶段自适应重定向方法,在五个动作捕捉数据集上生成了260小时的人-形机器人交互基准。 结果在模拟和真实世界中展示了协调的人机行为。
SHORE 结合稳定性概率与在线策略回报估计,加速在线 3D 装箱学习。 在 Isaac Gym 中,SHORE 经 0.4M 步达到 73% 空间利用率,无稳定性建模者需约 1M 步;在 60 盒扩展集上利用率为 0.734,对比 GOPT 基线 0.588。 论文验证了方法在真实机器人上的集成能力。
该研究提出可个性化 Transformer 模型,将表面肌电信号映射至末端执行器康复机器人的接触力轨迹,实现面向神经运动激活的处方生成。 模型采用旋转位置嵌入(RoPE)生成潜在表征,并引入流匹配生成轨迹分布;基于 16 名健康参与者 15 项等长任务评估,留出任务与用户轨迹预测误差低于 8%,具备亚秒级采样与近即时确定性推理。
summary_zh: La-JEPA 在 RoboTwin 2.0 与 LIBERO-Plus 上取得无需具身预训练策略的最先进性能,参数量远少于最强竞品。 该模型策略 Transformer 从零开始训练,在推理时仅生成动作,速度显著快于 Fast-WAM 且表现相当。
PlayGen2 提出分离 3D 状态演化与神经渲染的实时交互世界模型,实现低延迟可玩性。 模型在 M4 Pro 芯片 MacBook Pro 上达成约 160ms 后端延迟,支持零样本部署与多人交互。 代码与预训练模型权重已公开,验证了游戏世界模型的可迁移性与扩展性。
ProCompNav提出主动实例导航与比较判断框架,解决机器人处理模糊查询时确认负担重的问题。 该方法通过递归比较判断(RCJ)迭代缩小候选池,显著降低用户回复长度并提高成功率。已获NeurIPS 2026 Oral接收,实证研究证实用户更偏好其生成的二选一问题。