TAPESTRY：面向视频生成与机器人控制的单一骨干网络

TAPESTRY 将机器人动作视为视频模型潜空间中的单补丁 Token，复用预训练视频扩散 Transformer 构建机器人策略，推理时无需生成视频。 模型通过线性投影将动作映射至 VAE 补丁维度，采用视频、联合视频动作及仅动作三种扩散目标优化共享骨干。 在消费者硬件上，单次 DDIM 步即可生成动作块，每动作块耗时 84 ms，显著降低推理成本并避免完整视频生成开销。