Hugging Face Blog·· 2022-10-12AI 评分35
Hugging Face 如何实现 Bloom 推理服务器性能优化
Optimization story: Bloom inference
AI 导读
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
来源:Hugging Face Blog · huggingface.co