跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 小时前AI 评分42

AWS SageMaker HyperPod 推出 Global Inference Gateway:实现跨区域统一推理端点

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

AI 导读

AWS 发布 SageMaker HyperPod Global Inference Gateway,允许通过单一托管端点路由跨区域集群请求。 它利用 SigV4 和 IAM 认证,结合 AWS PrivateLink 自动将流量分发至最优集群并实现故障切换。 此举帮助用户利用闲置 GPU 容量,无需手动维护负载均衡或跨区网络配置。

来源:AWS Machine Learning Blog · aws.amazon.com