AWS Machine Learning Blog· Shantanu Tripathi·· 10 小时前AI 评分58
SageMaker Inference 支持 Multi-Instance GPU 以提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持 GPU 分区，使用 NVIDIA Multi-Instance GPU (MIG) 将物理 GPU 划分为独立的计算与内存分区，允许在单个端点上部署比 GPU 数量更多的模型，同时实现硬件级隔离、可预测延迟和租户安全。
来源：AWS Machine Learning Blog · aws.amazon.com