跳到正文
Hugging Face Blog·· 2024-01-30AI 评分52

Hugging Face 详解 Intel Xeon 下 StarCoder 量化与推测解码加速方法

Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding

AI 导读

Hugging Face 团队展示了在 Intel 4th Gen Xeon 上加速 StarCoder-15B 的方法,通过 8 位/4 位量化与推测解码实现最高 7.3 倍 TPOT 提升。量化后 HumanEval pass@1 精度损失极小,推测解码选用 164M 参数 draft 模型,文中给出了 IPEXModelForCausalLM 推理代码示例。

来源:Hugging Face Blog · huggingface.co