arXiv · ML· Hongseung Yu, In Gim, Kyunghan Lee, Lin Zhong·· 5 小时前AI 评分26
Bevy 提出基于跨层前瞻的请求调度方法，无需预测专家即可加速本地 MoE 推理，在双节点平台上实现 3.46 倍解码吞吐提升
Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
AI 导读
针对大语言模型本地部署场景，研究提出名为 Bevy 的新推理系统，通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层，再并行获取缺失专家，实现计算与通信重叠。在两个本地测试平台上，其解码吞吐量最高可达其他预取方法的 3.46 倍，且无需额外维护预测模型。
来源：arXiv · ML · arxiv.org