Hugging Face Blog·· 2022-01-13AI 评分21
Hugging Face Infinity 在现代 CPU 上实现毫秒级延迟
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
AI 导读
Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟,DistilBERT 模型相比原生 transformers 在 Ice Lake 实例上延迟和吞吐量最高提升 800%。
来源:Hugging Face Blog · huggingface.co