跳到正文
Hugging Face Blog·· 2022-09-16AI 评分45

使用 DeepSpeed 和 Accelerate 实现 176B BLOOM 模型的极速推理

Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate

AI 导读

在 8x80GB A100 硬件配置下,使用 DeepSpeed-Inference 运行 176B BLOOM 模型可实现低于 1 毫秒的每 token 吞吐速度。

来源:Hugging Face Blog · huggingface.co