arXiv · ML· Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang, Jiawei Zhuang, Lukas Cavigelli·· 10 天前AI 评分26
MACaQ:面向低精度权重与激活的快速、模型无关校准量化
MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
AI 导读
MACaQ 是一种 MXFP4 W4A4 后训练量化方法,通过逐层独立处理和在线应用块哈达玛变换,避免了跨层依赖。 在 vLLM 中的 Qwen3-32B 上,MACaQ 仅增加 2.3% 的端到端推理开销,并比 DuQuant++ 和 MR-GPTQ 实现了更低的困惑度。 该方法在 11 倍更快的量化时间内匹配 Llama-3-8B 的最佳困惑度,并展示了通用性和高效性。
来源:arXiv · ML · arxiv.org