arXiv · ML· Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang·· 16 小时前AI 评分22
InfoQuant: 通过重塑激活分布实现低比特 LLM 量化
InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization
AI 导读
InfoQuant 提出一种免训练方法，通过峰值抑制正交变换（PSOT）重塑 LLM 激活分布，使低比特量化更友好。 该方法引入自适应离群 token 选择以增强鲁棒性。在 W4A4KV4 配置下，平均保留 97% 浮点精度，并较 SOTA 减少 LLaMA-2 13B 性能差距 42%。
来源：arXiv · ML · arxiv.org