arXiv · ML· Yuzheng Lan·· 1 天前AI 评分26
MoE 模型推测解码中专家字节、核带宽与最佳草稿长度
Speculative Decoding for Mixture-of-Experts Models: Expert Bytes, Kernel Bandwidth and the Best Draft Length
AI 导读
研究发现混合专家（MoE）模型中，去重引擎在特定条件下比逐槽位引擎更快。去重加速仅在每轮 5-8 个 token 时生效，此时其字节份额低于带宽比。 该结论基于 Lean 形式化验证及 Metal、MLX-LM、CUDA 实测数据。
来源：arXiv · ML · arxiv.org