跳到正文
Hugging Face Blog·· 2023-09-26AI 评分27

Llama 2 在 Amazon SageMaker 上的部署基准测试

Llama 2 on Amazon SageMaker a Benchmark

AI 导读

Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。

来源:Hugging Face Blog · huggingface.co