Hugging Face Blog·· 2023-09-26AI 评分27
Llama 2 在 Amazon SageMaker 上的部署基准测试
Llama 2 on Amazon SageMaker a Benchmark
AI 导读
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
来源:Hugging Face Blog · huggingface.co