AWS Machine Learning Blog· Vinay Arora·· 2 天前精选AI 评分71
Amazon SageMaker HyperPod Inference 新增 NVIDIA Dynamo 托管推理能力
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。
推荐理由
通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。
来源:AWS Machine Learning Blog · aws.amazon.com