arXiv · AI· Shuhuai Li, Jianghao Lin, Dongdong Ge, Yinyu Ye·· 4 小时前AI 评分39
MoE-SpAc 实现边缘异构场景下基于推测激活效用的 MoE 推理加速
MoE-SpAc: Efficient MoE Inference Based on Speculative Activation Utility in Heterogeneous Edge Scenarios
AI 导读
MoE-SpAc 提出基于推测解码的 MoE 推理框架，在七个基准测试中将 TPS 提升 42%，并比标准基线快 4.04 倍。该框架通过推测效用估计器、异构负载均衡器和异步执行引擎，将推测解码转化为内存管理的前瞻传感器，统一预取与驱逐过程。论文代码已开源，旨在解决边缘设备内存受限与 I/O 瓶颈问题。
来源：arXiv · AI · arxiv.org