跳到正文
arXiv · ML· JuneHyung Kim, Sankeerth Durvasula, Nandita Vijaykumar·· 2026-10-05AI 评分23

SpAx 通过权重近似提升 LLM 离线解码速度

Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights

AI 导读

SpAx 利用激活稀疏性与权重近似技术加速大语言模型离线解码。该方法在权重卸载至 CPU 内存时,16 位权重平均提速 3.86 倍,4 位权重平均提速 2.06 倍,WikiText-2 困惑度增加不超过 10%。在闪存存储场景下,16 位权重平均提速 3.31 倍,4 位权重平均提速 1.54 倍。

来源:arXiv · ML · arxiv.org