arXiv · ML· Dwaipayan Haldar, Indranil Patra, Azhar Yousuf, Chandra Sekhar Seelamantula·· 2026-10-15AI 评分29
SpectrumQuant:面向 LLM 量化的频谱对齐方法
SpectrumQuant: Spectrum Alignment for LLM Quantization
AI 导读
SpectrumQuant 提出基于闭式旋转的 LLM 量化方法,通过校准数据估计激活协方差构建协方差感知正交变换。 该方法在 Llama 和 Mistral 模型实验中表现优于 SpinQuant 和 DartQuant 等学习型旋转方法,GPU 内存需求降低至 1/3 以下。
来源:arXiv · ML · arxiv.org