跳到正文
Seven Minute Feed·· 7 天前AI 评分45

华为开源模型无关量化器 MACaQ,可将 122B 参数模型在 32.5GB 显存下 64 分钟内完成量化。

Huawei open-sources MACaQ, quantizing a 122B model in 64 minutes

AI 导读

支持文本、图像、视频和音频模型,输出 2/3/4-bit GGUF 格式,兼容 llama.cpp、vLLM 及昇腾芯片。其困惑度指标优于 MR-GPTQ 和 DuQuant++,量化速度提升至 11 倍。

来源:Seven Minute Feed · github.com