Bevy MoE推理系统提出与结果

1. 13:00
   arXiv · ML

   Bevy 提出基于跨层前瞻的请求调度方法，无需预测专家即可加速本地 MoE 推理，在双节点平台上实现 3.46 倍解码吞吐提升

   针对大语言模型本地部署场景，研究提出名为 Bevy 的新推理系统，通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层，再并行获取缺失专家，实现计算与通信重叠。在两个本地测试平台上，其解码吞吐量最高可达其他预取方法的 3.46 倍，且无需额外维护预测模型。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。