Hugging Face Blog·· 2024-05-09AI 评分25
结合 Intel Gaudi 2 和 Intel Xeon 构建低成本企业 RAG 应用
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon
AI 导读
利用 Intel Gaudi 2 加速器和 Xeon CPU 可高效构建企业 RAG 应用。嵌入模型在支持 AMX-FP16 指令集的 Xeon 上运行,LLM 在 Gaudi 2 上通过 TGI 部署。启用 FP8 量化推理可获得 1.8 倍吞吐量提升。
来源:Hugging Face Blog · huggingface.co