跳到正文
Hugging Face Blog·· 2022-01-13AI 评分21

Hugging Face Infinity 在现代 CPU 上实现毫秒级延迟

Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs

AI 导读

Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟,DistilBERT 模型相比原生 transformers 在 Ice Lake 实例上延迟和吞吐量最高提升 800%。

来源:Hugging Face Blog · huggingface.co