Hugging Face Blog·· 2021-11-04AI 评分27
利用 Intel 软件优化现代 CPU 上的 BERT 类模型推理:第二部分
Scaling up BERT-like model Inference on modern CPU - Part 2
AI 导读
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
来源:Hugging Face Blog · huggingface.co