arXiv · ML· Yong Li, Haoyu Wang, Kan Liu, Tao Lan·· 7 天前AI 评分35
GC-MoE 在 SM120 上实现专家并行 Token 调度与 Warp 级 FP8xFP4 块缩放 MMA 重叠
GC-MoE on SM120: Overlapping Expert-Parallel Token Dispatch with Warp-Level FP8xFP4 Block-Scaled MMA on Consumer Blackwell
AI 导读
GC-MoE 操作针对 RTX PRO 5000(SM120)重构,通过 warp 级 FP8xFP4 块缩放 MMA 实现专家并行解码加速。 在 8 张 RTX PRO 5000 上,该算子比 FlashInfer CuTe DSL W4A8 和 Cake MegaMoE 分别快 1.522 倍和 1.387 倍。
来源:arXiv · ML · arxiv.org