跳到正文
Hugging Face Blog·· 2023-03-28AI 评分40

BLOOMZ 模型在 Habana Gaudi2 加速器上的快速推理实践

Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator

AI 导读

BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。

来源:Hugging Face Blog · huggingface.co