跳到正文
arXiv · ML· Rupeng Liu, Bangsheng Tang, Zongwei Zhou, Chengji Yao, Yejin Lee·· 4 天前AI 评分22

Fuse-All MoE:TPU上的MoE推理内核与负载均衡

Fuse-All MoE Inference Kernel with Load Balancing on TPUs

AI 导读

summary_zh: Fuse-All MoE 是一个专为 TPU 设计的 Mixture-of-Experts (MoE) 推理内核,它通过联合优化专家计算、输出通信和负载均衡,解决了 MoE 推理中的数据移动瓶颈。

来源:arXiv · ML · arxiv.org