arXiv · ML· Chenhang Cui, Xu Xie, Linrui Xu, Xiaohao Liu, Xingyu Zhu, Fei Shen, Tat-Seng Chua·· 2026-10-06AI 评分23
BARQ:面向低比特 LLM 量化的均衡码本细化方法
BARQ: Balanced Codebook Refinement for Low-Bit LLM Quantization
AI 导读
研究人员提出 BARQ(Balanced Assignment Refinement for Quantization),用于解决基于码本的 LLM 权重量化中码字分配不均问题,在相当比特预算下降低困惑度并提升零样本平均准确率。 该方法通过熵正则化的最优传输计算联合软分配,确保每个码字获得等量拟合质量,并证明细化后的码本在特定条件下能降低硬量化失真和评估损失,代码已开源。
来源:arXiv · ML · arxiv.org