arXiv · AI· Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu·· 6 小时前AI 评分22
SpecSlot：像素空间生成 Transformer 的角色耦合分词方法
Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
AI 导读
SpecSlot 提出一种像素空间 rectified-flow Transformer，通过解耦输出细节与全局注意力序列长度来优化生成效率。 该模型将每个空间锚点扩展为多个 slots，并分配互不重叠的 DCT 系数频段，仅最低频段参与全局注意力。在 ImageNet-512 上，SpecSlot 比对照组 FID 改善 2.84，同时 FLOPs 减少 3.9%。
来源：arXiv · AI · arxiv.org