Modaliff: 面向任意到任意生成的统一 Token 扩散模型

Modaliff 提出了一种基于 Token 的扩散模型，旨在通过学习双模态数据对实现文本、图像和音频的灵活转换。 该模型将条件与目标组装为统一 Token 序列，利用每 Token 属性和基于角色的位置嵌入保留各模态内部结构，单一去噪器支持多种生成任务。 在多项实验中，Modaliff 在大多数任意到任意生成任务中实现了最佳保真度，同时使用了更少的参数和训练数据。