NVIDIA开源PixelUMM统一多模态模型

2026年11月1日，NVIDIA联合滑铁卢大学正式开源PixelUMM模型及配套代码。该模型旨在直接在像素空间中统一图像与视频的理解及生成任务，核心特点是采用了无编码器设计，不使用预训练的视觉编码器或VAE。技术架构上，模型采用混合Transformer结构，将图像切分为patch、视频切分为tubelet，通过单层线性投影接入共享主干网络。需要注意的是，尽管已开源，模型目前仍使用线性输出头。相关评估显示，由于不同模型的训练数据存在差异，目前的测试结果无法说明哪种架构更优或收敛更快。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。