跳到正文
AWS Machine Learning Blog· Mona Mona·· 2026-10-13AI 评分38

Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化

Mixture-of-Experts kernel engineering on Amazon SageMaker AI

AI 导读

Amazon SageMaker AI 通过融合 MoE 内核工程优化 LLM 性能,其中 Swap-AB 策略在 H200 上带来 2–4% 吞吐量提升。 Swap-AB 利用 NVIDIA Hopper 架构 WGMMA 指令特性,将大维度 N 映射至固定 M 维度,支持异步预取;该优化已上游至 vLLM 0.24.0 及以上版本。

来源:AWS Machine Learning Blog · aws.amazon.com