arXiv · NLP· Sicheng Feng, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang·· 10 天前AI 评分38
dMoE:一种为扩散大语言模型设计的可学习块级专家混合架构
dMoE: dLLMs with Learnable Block Experts
AI 导读
dMoE 框架通过将 token 级专家分布聚合为块级分布,解决了扩散 LLM 与 MoE 架构中的路由失配问题,显著降低推理时的内存瓶颈。该框架将平均独特激活专家数量从 69.5 减少至 16.6,同时保留 99.55% 的性能,内存使用率降低 74.36% 至 76.78%,端到端延迟加速 1.36 至 2.04 倍。该论文已被 NeurIPS 2026 接收。
来源:arXiv · NLP · arxiv.org