发布Joints, Camera, Action!联合生成模型论文

arXiv最新发布的论文《Joints, Camera, Action!》由Noam Rotstein等人提出，该模型能够直接联合生成任意供应骨骼Rig的视频与3D动作，以及一个将该动作定位到场景的相机。其核心架构通过交叉注意力层连接预训练视频模型与独立动作模型，实现动作生成支持任意骨骼框架。该模型的动作部分在20万训练对上进行优化，不仅能量化定位关节以恢复相机视角，还能生成忠实于文本描述的3D运动。该架构支持多种模态间转换，包括从视频反推动作、从动作反向生成视频以及关键帧控制，性能优于传统的视频优先流水线。

AI 根据报道生成 · 42 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。