自进化世界模型中的自主视频生成框架
论文提出“自主视频生成”概念,旨在构建自进化世界模型。其核心主张是模型评估不应仅看视频保真度,而应衡量生成帧在反事实干预下的有效行动能力。 文章形式化了生成、绑定、验证与蒸馏的四阶段闭环优化流程,并定义了新颖性、一致性、OOD及效率四项指标。 该框架以无人机和机械臂为具身测试床,通过扰动风场、感知限制等约束,验证生成视频对决策的实际指导意义。
论文提出“自主视频生成”概念,旨在构建自进化世界模型。其核心主张是模型评估不应仅看视频保真度,而应衡量生成帧在反事实干预下的有效行动能力。 文章形式化了生成、绑定、验证与蒸馏的四阶段闭环优化流程,并定义了新颖性、一致性、OOD及效率四项指标。 该框架以无人机和机械臂为具身测试床,通过扰动风场、感知限制等约束,验证生成视频对决策的实际指导意义。
提出 Pose6DAug 数据增强框架,通过保留成功轨迹并交换操作物体来生成物理一致的演示。 该框架在 3D 空间中利用显式网格和 6D 位姿驱动物体,解决了 2D 编辑破坏多视角一致性的问题。 在真实机器人上,该方法使基础策略成功率提升超过一倍,显著优于现有基准。
研究对比显示,包含地面反力与压力中心的动力学感知模仿学习(KAIL)比纯运动模仿学习(MOIL)能生成更符合生物力学的关节力矩。KAIL 将垂直地面反力和压力中心误差降低 40% 和 48%,髋、膝、踝关节力矩误差分别降低 19%、18% 和 35%。该发现揭示了纯运动模仿学习在步态动力学估计上的根本局限,可能影响可穿戴机器人设计及病理步态诊断。
该模型将物体表示为保留局部表面几何的高斯基元,并用预训练描述符编码手部形态与运动学,结合各向异性马氏距离场建模手部接触。 在 CMAP 和 MultiGripperGrasp 基准测试中,其性能超越最强基线最多 8.24 个百分点,在未见 SharpaWave 手上提升 16.57 个百分点,真实实验成功率达 86%。
WorldComposer 通过 Real2Sim2Real 框架,将真实全景图映射为高保真仿真环境,并合成数字表亲(Digital Cousins)实现数据增强。 该平台支持刚性、铰接及变形物体的交互操作,结合多房间拼接构建大规模环境,实验验证了 sim-to-real 高保真度及泛化性能。 该方法显著提升了机器人策略在未见场景和物体变化下的泛化能力,为高效学习与评估提供了解决方案。
RiskWorld 提出了一种风险感知的世界建模框架,用于共享占据预测和选择性轨迹替换,通过融合空间风险场、时序行为者上下文与视觉鸟瞰特征实现安全运动规划。 该框架采用流引导演化传输占据与场景特征,并用有符号残差校正传输后的占据。
研究团队提出世界锚定规范化框架 WACO,解决 VLA 模型因相机与机器人基座偏移导致的策略失效问题。在 LIBERO-PoseShift 基准及 UR5e 机器人测试中,WACO 将移位成功率分别提升 13.2 和 36.7 点,恢复 90% 仿真性能差距。该方法无需额外数据或测试时校准,在无扰动训练数据方法中创造新纪录。
框架AeroRSI通过让无人机导航策略从自身失败中迭代学习来修正闭环飞行故障。在TravelUAV基准上,三轮迭代将2B参数监督策略成功率从46.4%提升至67.5%,碰撞率减半,较此前最优结果高10.6分且无额外标注。代码与模型已公开。
针对现有方法未充分利用手部运动与物体语义关系的问题,提出TOMAS框架。该框架通过拓扑感知推理机制联合推断交互目标与潜在操作,并结合自适应分阶段机制组织未来手部运动,在多个公开基准上实现了多目标手部运动预测的最先进性能。
提出 VLN-AR 分层视觉-语言-导航框架。经板端优化,其在资源受限无人机平台上实现 7.1x-9.4x 推理加速,仿真与实机导航性能均优于现有方法。 框架利用基于 3D Gaussian Splatting 的自动化管线生成导航数据,结合三阶段训练与轻量级认知智能体,增强场景推理及长时程任务分解能力。
冻结潜在世界模型可反向运行检测执行偏差,在 PushT 任务中将成功率从 0.650 提升至 0.862。 该方法通过偏移分数量化执行偏差,在 Cube 任务成功率提升至 0.432,真机实验中减少末端执行器误差。
LAGR 提出任务导向抓取检测方法,通过构建 2.68M 数据并在基准测试中超越次优方法 9.3 个百分点。 方法包含任务无关生成与语言条件重排序模块,并在 Franka 机器人上验证。
针对长时程任务性能退化问题,提出RePlan-VLA框架。该框架在保留视觉-语言-动作策略的前提下,通过实时监测机器人运动状态来动态修订执行计划,无需额外微调。
论文提出了一种类型化生成语法和名为 PANINI 的交叉熵搜索方法,用于生成机器人操作技能和形态。 该语法通过几何实现映射将语法组合转换为 SE(3) 中的变换,其仲裁决策可从几何包含关系中恢复,在 10 个种子下与欧几里得对照相比,一致性达到 0.905 +/- 0.062,显著优于对照组的 0.611 +/- 0.090。
研究提出 Rat NCAP 神经架构,结合生物脊髓回路生成大鼠运动。该模型无需模仿学习即可掌握不同速度步态转换。在 silico 细胞类型消融实验复现了已知步态表型。结果支持中等抽象层次具身模拟可同时再现复杂行为并提供机制洞察。
研究者提出F$^3$框架,论证经验价值取决于存储形式、适用时机及融合位置,而非源rollout是否成功。 通过Form压缩操作记录,Fit预测辅助时机,Fusion注入前缀与动作先验。 仅在200个样本上训练,在MolmoSpaces和RoboLab上将成功率提升12.0 pp和10.8 pp。
提出 DUAC(基于散度的不确定性感知自适应动作分块)方法,利用预训练视觉语言动作(VLA)模型的流场向量,通过单次生成和雅可比-向量积计算动作级不确定性,无需重训练或多端点采样。 在 LIBERO 系列和 RoboCasa 基准测试中,DUAC 的自适应时域选择在保持高任务成功率的同时,实现了低不确定性估计延迟。 该方法确立了流向量场作为机器人决策中高效、轨迹条件化预测不确定性来源的地位。
提出FedE2E方法,利用一次性联邦学习训练端到端自动驾驶模型,在Bench2Drive基准测试中达到55.85分的驾驶分数。 该方法包含多客户端校准、基于锚点的特征对齐和token级共识蒸馏。相比现有工作提升4.07分,多轮通信设置下5轮后达到60.35分最佳性能。
研究提出PGU-Decoder统一解码框架,解决路网生成等三类任务分离导致的运维成本问题。 该框架包含先验查询模块和关系图注意力网络,在中国360多个城市的部署中,质量得分超98%,人工验证成本降低95%,更新频率由每周提升为每小时。
论文提出 Embodied Graph 和 Relational World Model (RWM),通过稀疏状态抽象解决长时程任务中预测误差累积问题。 RWM 包含任务感知图构造器和图循环状态空间模型,在 Minecraft 实验中成为唯一在预算内获得钻石的方法。 实验还验证了关系状态预测在 Web 智能体决策中的适用性。
基准包含12,774个独立机器人、16,427次模拟及135个实体建造,66%模拟通过结果在真实环境中有效。 视频闭环使智能体消除72%的低难度失败案例,推动AI向实际机器工程设计迈进。
首个基于脉冲驱动的 VLA 框架实现机器人操控端到端直接训练,采用多赢家脉冲融合与 Spike Action Chunking Transformer 组件。 该框架在 LIBERO 和 Meta-World 基准测试中表现具有竞争力,且参数量更少、推理能耗更低。 为资源受限平台上的具身智能建立了神经形态基础。
SKYPART作为轻量级模块,在SUES-200等基准上实现单次检索无重排的SOTA性能,其26.95M参数量为对比中表现最佳的最小模型。 该方法通过可学习原型、海拔条件调制及图注意力读出机制,使模型在十种WeatherPrompt腐败条件下精度优势进一步增加。 论文已被Neurips 2026接收,代码已开源,为低空经济中GNSS失效场景下的无人机自主定位提供了可靠替代方案。
针对协作演示数据缺失难题,该研究提出通过 Barrier-Guided Diffusion Sampling 将团队物理约束编码至生成模型采样过程。 方法基于单智能体演示训练,无需重训即可生成满足约束的协作轨迹,并在双任务及多机器人测试床验证有效性。 该方法使异构智能体团队能在无协作数据条件下,通过组合已有能力完成超越个体极限的任务。
研究提出以智能体为中心的 VLA 世界模型 AgentWorld,通过离散智能体 token 同时完成推理与轨迹规划,克服像素级生成的性能瓶颈。 该模型将每个 token 动态关联到周边智能体及其状态(语义、3D 几何、运动等),并经由显式几何 grounding、监督微调和面向智能体的强化学习进行训练。
审计显示 ANYmal D 的四足机器人世界模型 RWM 中,基于模型自身 rollout 的训练优于单步训练。 测试了 101 个模拟器和 200 个压缩副本,发现 30% 权重剪枝仅保留 39% 的 2 秒技能,集成分歧在 100 步时的 Spearman 相关系数为 +0.90。 18 个微调副本中 13 个生成了失败策略,表明模拟器准确性未能预测实际行走表现。
研究揭示了 Pollen Robotics Reachy Mini Lite 存在的安全漏洞,未认证攻击者可利用管理接口替换 LLM 系统提示词及人格设置。攻击导致物理硬件行为改变,被映射为 CWE-306 和 CWE-1327,CVSS v3.1 评分为 6.5(中等)。
该论文提出一种基于物理仿真的推理时优化框架,确保生成式策略动作满足任务收敛条件。 在 PushT 和立方体堆叠任务中,成功率分别提升至 88.5% 和 86.0%。
研究人员提出一种 JEPA 式世界模型规划器-硬件协同设计,通过参考森林采样制造差异比特级稀疏性。 该设计使三个 JEPA 世界模型的推理速度比稠密加速器快 1.28-1.80 倍,能耗降低 38-52%;比先前比特稀疏设计快 1.22-1.58 倍,能耗降低 16-36%。 这是首个为 JEPA 式世界模型规划制造比特级稀疏性的规划器,也是首个针对该场景的算法-硬件协同设计。
FIRE-Drive 提出了一种针对端到端自动驾驶的可行性信息风险评估框架,在 NAVSIM v1 数据集上实现了 91.5 的 Predictive Driver Model Score。该框架通过动态可行锚点初始化、候选特定鸟瞰图风险证据以及紧凑的高质量候选监督,优化了扩散模型的轨迹生成与模式选择。
该论文探讨了面向物理世界的智能体如何生成、测试并学习程序,提出将现实世界视为程序的测试套件,以应对缺乏预设测试用例的挑战。 文章分析了语言模型与软件工程智能体的融合,详细阐述了机器人策略生成、基于物理试验及形式化检查的测试机制,以及将测试经验存入技能库或模型权重的学习路径。 作者指出编写程序的成本正在降低,但获取可靠证据依然昂贵,未来进步取决于建立类似持续集成的物理验证体系。
去中心化框架 Heave-Ho 实现长时程多人形机器人协作,经 2 个机器人训练后可扩展至 10 个机器人团队,并泛化至异构团队且无需重训练。 该框架包含多智能体后训练底层控制与视觉-语言规划高层模块,配合语音主从协调机制在无网络通信下同步执行,并在 12 项任务的 HH-Bench 上表现优于基线方法。
在Unitree Go2四足机器人上,采用热感知强化学习策略将持续运动瓶颈从热关机转变为电池耗尽。 该策略基于13节点集总RC热网络预测电机温度,无需实时温度输入即可降低峰值热量。在载5kg负载以1m/s速度下,策略使机器人续航延长至174分钟(10.0km),热裕量14℃。
RoboTeam 是一个模拟基准,要求智能体仅凭摄像头图像在实时环境中协同控制 4 至 16 个机械臂完成长周期任务。 在自适应系统中,gpt-6.1-sol 和 opus-5.5 分别完成 28 和 27 项任务,而其他四个模型最多完成 3 项。 gpt-6.1-sol 典型任务耗时 3.5 小时,消耗 2.18 亿输入 token,且三分之一步骤需重试。
HubEgo-100K v1.0 发布 10,124 小时 1080p 第一人称视频,涵盖 15,548 个环境。 数据含 100 Hz IMU 数据及 72,754 个带注释片段,采用 CC BY 4.0 授权,旨在通过多样性提升机器人策略泛化能力。
Evidential Deep Learning (EDL) 在多 ASV 信息路径规划中表现最优,解释最终重构误差方差的 80%。 EDL 在 60 张地图测试中误差最低、IoU 最高,单步耗时 3.9 ms,校准性能优于 MC Dropout 和 Deep Ensembles。 信息模型对规划器采集数据的鲁棒性是不确定性感知 IPP 的必要条件。
ALOHA Lightning 利用运动学示教系统收集接近人类速度的双手演示,仅需 50 条演示数据。 该方法通过测试时动作平滑与数据掩码对齐分布,在投接球、折叠短裤等双手任务中实现 80% 以上成功率。
研究表明,固定等待期间的保持参考点改变可反转视觉恢复方法的排序。 研究引入 AuditEmbodied 框架,在 1 秒等待且注册腕参考下,位置保持使受保护完成数从 19/40 增至 34/40,而注册保持仅为 6/40。 该发现将保持参考确立为比较视觉恢复性能的明确评估条件。
WM-Quant 提出首个专为 JEPA 世界模型设计的训练后量化框架,在 W4A4 低位宽下使规划成功率接近全精度性能。 该方法包含早期编码器精度保持、控制路径保留及滚动感知缩放组件,通过联合校准整个滚动序列的激活范围,解决了自回归 MPC 推理中量化误差逐步累积导致动作排序近随机的核心痛点。
研究提出 RecPo 框架,通过重组现有组件而非完全新学行为,实现机器人技能的低成本重新配置。 在扩展 Franka Kitchen 基准的长时程任务中,RecPo 在 1.0 ms 任务推理延迟下达成 91.9% 有序完成率,支持稀疏程序支持。 实机研究表明,RecPo 可通过局部记忆编辑实现适应,无需针对特定任务进行重新训练。