机器之心·· 2026-10-16AI 评分43
卡加吞吐未升?港科大与华为提出 BalanceRoute 解法
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
AI 导读
港科大周子杰团队与华为 2012 实验室提出 BalanceRoute,解决 MoE 模型推理中同步等待瓶颈。在 96 卡主实验中,BR-H 策略使解码吞吐提升约 15%。 该方法通过数学建模刻画负载不均衡,利用短期预测进行在线路由决策。目前该成果已被 NeurIPS 2026 接收,并部署于 MaaS 推理服务系统 MathBot-Pie。
来源:机器之心 · mp.weixin.qq.com