arXiv · ML· Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Huaqing Zheng, Xindian Ma, Peng Zhang·· 12 小时前AI 评分29
SharQ:弥合 LLM 推理中激活稀疏性与 FP4 量化的桥梁
SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference
AI 导读
SharQ 提出一种免训练方法,将激活稀疏性与 FP4 量化结合以降低 LLM 推理开销。 通过在线稀疏-稠密分解,生成自适应 N:M 掩码提取离群值,并将稀疏主干量化为 FP4,用稠密残差补偿误差。 在 Llama-3.1-8B 等模型上恢复 43%–63% 精度差距,RTX 5090 上实现 2.2–2.4 倍延迟降低。
来源:arXiv · ML · arxiv.org