Hugging Face Blog·· 2024-03-18AI 评分48
Hugging Face 发布 Optimum 的 PyTorch 量化后端 Quanto
Quanto: a PyTorch quantization backend for Optimum
AI 导读
Hugging Face 推出 PyTorch 量化后端 Quanto，作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
来源：Hugging Face Blog · huggingface.co