arXiv · NLP· Keiji Kimura, Yuma Ichikawa·· 3 天前AI 评分30
JointQ: 用于大语言模型的联合缩放与整数量化
JointQ: Joint Scale-and-Integer Quantization for Large Language Models
AI 导读
针对 GPTQ 贪心优化中连续缩放与离散整数分离的瓶颈,JointQ 提出了一种联合缩放与整数量化的方法。通过在组量化中利用 Hessian 矩阵重新计算每组最优缩放,并在所有比较中保持校准误差不高于 GPTQ,实现了对 GPTQ 解决方案的改进。
来源:arXiv · NLP · arxiv.org