跳到正文
arXiv · ML· Xiuyi Qin·· 29 天前AI 评分41

2:4 稀疏性在 LLM 推理中是否仍值得使用?半结构化稀疏与量化的对比分析

Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference

AI 导读

当更低精度可用时,在相同比特数下添加 2:4 稀疏性比降低精度更差,因其导致精度更低且速度更慢。 当量化达到硬件最低精度时,2:4 稀疏性可使线性层加速 1.3–1.7 倍;在 H100 上,经重新训练的 2:4 模型以 FP8 通过 vLLM 服务时,prefill 吞吐量比密集 FP8 模型高 27%,GSM8K 准确率相当,但需重新训练恢复困惑度,且在 Blackwell 架构上损失更大。

来源:arXiv · ML · arxiv.org