跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 2 小时前AI 评分50

Amazon SageMaker AI 推出跨区域推理路由功能

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Amazon SageMaker AI 推出跨区域推理路由,通过新增 inference router 资源实现多区域自动故障转移,解决 GPU 容量不足导致的请求超时。 该资源允许用户注册多区域端点,路由器优先处理本地请求,仅在本地不可用时才将新请求分发至其他区域,并支持跨账户部署。 此功能消除了各团队自行维护跨区域路由代码的需求,提升了高可用性推理服务的运维效率。

来源:AWS Machine Learning Blog · aws.amazon.com