跳到正文
arXiv · ML· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 2026-10-07AI 评分25

AlignQuant:面向高效 LLM 生成的图块对齐混合精度量化方法

AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation

AI 导读

提出后训练量化方法 AlignQuant,在 3B 至 14B 参数的 LLM 上实现最高 2.50 倍生成加速,且保持模型质量。 该方法利用 GPU 兼容二维权重图块作为精度分配、紧凑存储和执行的基础单元,在 8 比特激活下通过 8 比特计算扩展低比特权重。

来源:arXiv · ML · arxiv.org