跳到正文
Hugging Face Blog·· 2022-10-12AI 评分35

Hugging Face 如何实现 Bloom 推理服务器性能优化

Optimization story: Bloom inference

AI 导读

Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。

来源:Hugging Face Blog · huggingface.co