Hugging Face Blog·· 2023-09-12AI 评分27
🤗 Transformers 原生支持量化方案概览
Overview of natively supported quantization schemes in 🤗 Transformers
AI 导读
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
来源:Hugging Face Blog · huggingface.co