arXiv · ML· Congwei Zhang, Youming Tao, Yifei Zou, Yu Yang, Ruirui Zhang, Xiaoyu Zhang, Falko Dressler, Xiuzhen Cheng, Dongxiao Yu·· 5 小时前AI 评分33
CRISP：面向边缘服务器高效 MoE 推理的剪枝与调度协同设计
CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers
AI 导读
CRISP 框架通过协同设计剪枝和运行时调度，在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性，按重要性重排神经元，并对热点、温点和冷点组合执行差异化调度，实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上，相同内存预算下吞吐量提升最高达 2.1 倍，精度损失控制在 3.6% 以内。
来源：arXiv · ML · arxiv.org