MoE模型推测解码优化研究

arXiv平台于2026年10月27日刊发了由Yuzheng Lan等人撰写的论文《混合专家模型推测解码》。该研究针对MoE模型中连续Token常选择相同专家的特点，分析了推测解码中的专家字节、核带宽与最佳草稿长度关系。研究通过Lean形式化验证及Metal、MLX-LM、CUDA实测数据发现，去重引擎在特定条件下比逐槽位引擎更快。具体而言，去重加速仅在每轮生成5-8个Token时生效，此时其字节份额低于带宽比。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。