跳到正文
arXiv · ML· Dwaipayan Haldar, Indranil Patra, Azhar Yousuf, Chandra Sekhar Seelamantula·· 2026-10-15AI 评分29

SpectrumQuant:面向 LLM 量化的频谱对齐方法

SpectrumQuant: Spectrum Alignment for LLM Quantization

AI 导读

SpectrumQuant 提出基于闭式旋转的 LLM 量化方法,通过校准数据估计激活协方差构建协方差感知正交变换。 该方法在 Llama 和 Mistral 模型实验中表现优于 SpinQuant 和 DartQuant 等学习型旋转方法,GPU 内存需求降低至 1/3 以下。

来源:arXiv · ML · arxiv.org