AWS Machine Learning Blog· Alex Nails·· 7 天前AI 评分47
SGLang-Neuron 在 AWS Trainium 上公开可用
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
AI 导读
SGLang-Neuron 正式公开可用,允许在 AWS Trainium 芯片上使用 SGLang 接口部署模型及生成强化学习 rollout。 该插件作为树外扩展支持 Trainium,底层基于原生 PyTorch 运行,采用 NKI 内核并通过 torch.compile 编译执行,同时支持 PD 分离架构。
来源:AWS Machine Learning Blog · aws.amazon.com