arXiv · ML· Ruwen Fan (Jimmy), Yuezhi Zu (Jimmy), Minhui Xie (Jimmy), Junru Li (Jimmy), Qingda Hu (Jimmy), Xinjun (Jimmy), Yang, Jiwu Shu, Youyou Lu·· 2026-10-08AI 评分35
CoMoE 如何实现消费级 GPU 上的 MoE 推理降本增效
Democratizing MoE inference on commodity GPUs with CoMoE
AI 导读
CoMoE 通过主机中心路由解决消费级 GPU 通信瓶颈,使 MoE 推理成本降至数据中心的 23.4%。 该系统利用 RTX 5090 显卡,通过主机背板令牌多播和细粒度聚合机制,提升推理吞吐量最高达 1.46 倍。
来源:arXiv · ML · arxiv.org