跳到正文
Hugging Face Blog·· 2024-05-09AI 评分25

结合 Intel Gaudi 2 和 Intel Xeon 构建低成本企业 RAG 应用

Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon

AI 导读

利用 Intel Gaudi 2 加速器和 Xeon CPU 可高效构建企业 RAG 应用。嵌入模型在支持 AMX-FP16 指令集的 Xeon 上运行,LLM 在 Gaudi 2 上通过 TGI 部署。启用 FP8 量化推理可获得 1.8 倍吞吐量提升。

来源:Hugging Face Blog · huggingface.co