Hugging Face Blog·· 2023-03-28AI 评分40
BLOOMZ 模型在 Habana Gaudi2 加速器上的快速推理实践
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
AI 导读
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
来源:Hugging Face Blog · huggingface.co