跳到正文
Hugging Face Blog·· 2022-01-11AI 评分36

使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理

Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker

AI 导读

本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。

来源:Hugging Face Blog · huggingface.co