机器之心·· 3 小时前AI 评分52
NVIDIA 开源 PixelUMM:在像素空间统一视频图像理解与生成
告别VAE和ViT! 英伟达开源PixelUMM, 在像素空间统一视频图像理解与生成
AI 导读
NVIDIA 与滑铁卢大学开源 PixelUMM,这是一个直接在像素空间中统一图像与视频理解及生成的无编码器模型,不使用预训练视觉编码器或 VAE。模型采用 Mixture-of-Transformers 架构,将图像切分为 patch、视频切分为 tubelet,通过单层线性投影接入共享主干网络。
来源:机器之心 · mp.weixin.qq.com