Hugging Face Blog·· 2022-09-16AI 评分45
使用 DeepSpeed 和 Accelerate 实现 176B BLOOM 模型的极速推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
在 8x80GB A100 硬件配置下,使用 DeepSpeed-Inference 运行 176B BLOOM 模型可实现低于 1 毫秒的每 token 吞吐速度。
来源:Hugging Face Blog · huggingface.co