跳到正文
AWS Machine Learning Blog· Muru Bhaskaran·· 57 分钟前AI 评分32

Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

AI 导读

在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。

来源:AWS Machine Learning Blog · aws.amazon.com