arXiv · NLP· Xingyu Liu, Xiangyang Yin, Tianhua Xia, Haiyu Wang, Sai Qian Zhang·· 11 天前AI 评分20
CodeQuant2: 面向低精度大推理模型的异常值抑制与自适应聚类
CodeQuant2: Enhanced Outlier Mitigation and Adaptive Clustering for Low-Precision LRMs
AI 导读
CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。
来源:arXiv · NLP · arxiv.org