arXiv · AI· Xiaotong Li, Zhengrong Yue, Xu Huang, Jialv Zou, Minhao Jing, Wenhao Yan, Haodong Li, Hai Huang, Bo Zhao, Yan Feng, Peng Pei, Xunliang Cai·· 10 天前AI 评分40
dNaViT: 离散代码作为通用视觉表示
dNaViT: Discrete Codes are General-Purpose Visual Representations
AI 导读
dNaViT 提出一种基于离散自回归建模的视觉 Transformer,通过冻结预训练编码器与轻量级残差调制生成离散视觉原语。利用分组乘积量化扩展离散容量,避免空间序列长度膨胀。在 12 个视觉理解、4 个生成及 1 个图像编辑基准测试中,其性能达到或超过专用任务基线,证明紧凑离散词表可作为通用视觉货币。
来源:arXiv · AI · arxiv.org