跳到正文
arXiv · ML· Harshit Samrat, Ramakrishna Paramahamsa Kompella·· 2 天前AI 评分31

Masked 扩散语言模型 MoE 解码隐藏成本:Profilng 与修复采样器

The Hidden Cost of MoE Diffusion Decoding: Profiling and Fixing the Sampler

AI 导读

26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。

来源:arXiv · ML · arxiv.org