Hugging Face Blog·· 2024-04-03AI 评分33
利用 🤗 Optimum Intel 在 Xeon 上实现 SetFit 推理加速 7.8 倍
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
AI 导读
SetFit 在 Intel Xeon CPU 上通过 🤗 Optimum Intel 的量化技术实现了 7.8 倍推理加速,支持生产级部署。 该方案利用 Optimum Intel 库(版本需 ≥1.14.0)执行后训练静态量化,结合 AVX-512 和 AMX 指令集优化模型运行效率。
来源:Hugging Face Blog · huggingface.co