跳到正文
Hugging Face Blog·· 2023-09-12AI 评分27

🤗 Transformers 原生支持量化方案概览

Overview of natively supported quantization schemes in 🤗 Transformers

AI 导读

Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。

来源:Hugging Face Blog · huggingface.co