Hugging Face Blog·· 2023-05-16AI 评分50
Q8-Chat 在 Xeon 上实现高效生成式 AI 体验:SmoothQuant 优化 LLM 推理
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
AI 导读
Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。
来源:Hugging Face Blog · huggingface.co