跳到正文
arXiv · ML· Bo Li, Chulian Zhang, Or Biri, Anthony Chang, Anton Korzh, Noam Duvdevani, XingFei Xi, Daniel Stokes, Zhenhuan Chen, Ludwig Schneider, Artem Y. Polyakov, Julien Demouth, Chandler Zhou·· 9 天前AI 评分28

面向 MoE 推理的 NVLink 单侧专家并行 All-to-All:NVLinkOneSided 技术解析

One-Sided Expert-Parallel All-to-All for Mixture-of-Experts Inference over NVLink

AI 导读

针对小批量下固定开销主导延迟的问题,提出 NVLinkOneSided 单侧专家并行 All-to-All 通信方案。该方案在单一 NVLink 域内通过源秩直接推送 token 至目标秩缓冲,结合 Fence 与 Sentinel 两种同步协议,无需预交换元数据。

来源:arXiv · ML · arxiv.org