arXiv · AI· Yanshuo Chen, Chenxi Liu, Reza Shirkavand, Heng Huang·· 2 小时前AI 评分29
MPQ 提出消息传递视角的后训练量化方法
MPQ: A Message-Passing View of Post-Training Quantization
AI 导读
MPQ 将行级后训练量化（PTQ）视为离散码本的后验推理，利用向量近似消息传递计算块级后验，再结合精确块坐标下降细化硬判决。 该方法在 Llama、Qwen 和 Mistral 系列稠密语言模型上，针对 2-bit 格子和 3-、4-bit 标量量化场景，提升了困惑度和零样本准确率。 代码已公开。
来源：arXiv · AI · arxiv.org