arXiv · ML· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 2026-10-07AI 评分25
AlignQuant:面向高效 LLM 生成的图块对齐混合精度量化方法
AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
AI 导读
提出后训练量化方法 AlignQuant,在 3B 至 14B 参数的 LLM 上实现最高 2.50 倍生成加速,且保持模型质量。 该方法利用 GPU 兼容二维权重图块作为精度分配、紧凑存储和执行的基础单元,在 8 比特激活下通过 8 比特计算扩展低比特权重。
来源:arXiv · ML · arxiv.org