跳到正文
Hugging Face Blog·· 2024-03-15AI 评分35

Optimum Intel 与 fastRAG 优化 BGE 嵌入模型在 CPU 上的性能

CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG

AI 导读

Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。

来源:Hugging Face Blog · huggingface.co