Seven Minute Feed·· 7 天前AI 评分45
华为开源模型无关量化器 MACaQ,可将 122B 参数模型在 32.5GB 显存下 64 分钟内完成量化。
Huawei open-sources MACaQ, quantizing a 122B model in 64 minutes
AI 导读
支持文本、图像、视频和音频模型,输出 2/3/4-bit GGUF 格式,兼容 llama.cpp、vLLM 及昇腾芯片。其困惑度指标优于 MR-GPTQ 和 DuQuant++,量化速度提升至 11 倍。
来源:Seven Minute Feed · github.com