arXiv · AI· Jaehun Gim, Jaewoo Kim, Gyuwan Kim, Seo Yeon Park·· 7 天前AI 评分25
SignRot: LLM 量化中基于海量异常值感知符号调整旋转的方法
SignRot: LLM Quantization with Massive Outlier-Aware Sign-Adjusted Rotation
AI 导读
SignRot 通过识别异常通道构建符号调整向量,将双峰分布折叠为单模态分布,配合非对称量化解决量化瓶颈。 该方法仅需单次校准前向传播,在推理时仅增加逐元素符号翻转,无需额外矩阵乘法。应用于 QuaRot 时,LLaMA3-70B 模型 WikiText2 困惑度达 5.88,平均零样本推理准确率为 72.73。
来源:arXiv · AI · arxiv.org