arXiv · AI· Jarek Liesen, Matthew T. Jackson, Benjamin Ellis, Shimon Whiteson, Jakob N. Foerster·· 4 小时前AI 评分34
MoDDiT：在 Diffusion Transformers 中实现简单 Token 路由
MoDDiT: Simple Token Routing in Diffusion Transformers
AI 导读
MoDDiT 通过独立路由 MLP 和 self-attention 操作，在 Diffusion Transformers 中实现动态计算分配。 模型从零开始训练时，MoDDiT 可仅处理 12.5% 的 tokens，从而显著降低计算成本。其分配过程具有可解释性，并能用于训练视频生成模型及蒸馏稠密双向模型。
来源：arXiv · AI · arxiv.org