arXiv · AI· Ekagra Ranjan, Komal K. Teru, Bharat Venkitesh, Acyr Locatelli·· 6 小时前AI 评分27
稀疏 MoE 模型上投机解码为何优于预测
Why Speculative Decoding Works Better Than Predicted on Sparse MoE Models
AI 导读
研究发现细粒度稀疏 MoE 模型在低批处理大小下实现更高加速比，打破了先前预测的中间批处理峰值趋势。该现象源于 MoE 层运行时占比远低于权重占比，且路由重叠减少了验证时激活的唯一专家数量。利用最大熵 IPF 框架建模后，误差小于 4%，显著缩小了与真实模型曲线的差距。
来源：arXiv · AI · arxiv.org