Hugging Face Blog·· 2024-03-15AI 评分35
Optimum Intel 与 fastRAG 优化 BGE 嵌入模型在 CPU 上的性能
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG
AI 导读
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
来源:Hugging Face Blog · huggingface.co