跳到正文
Hugging Face Blog·· 2023-11-07AI 评分43

使用 AWS Inferentia2 加速 Llama 2 模型文本生成

Make your llama generation time fly with AWS Inferentia2

AI 导读

Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。

来源:Hugging Face Blog · huggingface.co