arXiv · AI· Yong Li, Kan Liu, Tao Lan·· 13 小时前AI 评分28
GC-MoE：基于 CUDA Green Contexts 的 MoE 推理开源算子
GC-MoE: Overlapping Expert-Parallel Token Dispatch with FP8/FP4 Grouped GEMM via CUDA Green Contexts
AI 导读
GC-MoE 发布开源 FP8/FP4 MoE 推理算子，利用 CUDA Green Contexts 将 GPU 划分为通信与计算分区，实现 dispatch 与 GEMM 独立并行。
来源：arXiv · AI · arxiv.org