arXiv · ML· Linghao Kong, Inimai Subramanian, Micah Adler, Dan Alistarh, Dan Gutfreund, Nir Shavit·· 11 天前AI 评分23
差异驱动稀疏化方法 Wisp 在 Llama 模型剪枝中的效能分析
The Sparsity Whisperer
AI 导读
论文提出差异感知剪枝方法,主张保留神经元输出差异比单纯保留激活值更重要。 在 Llama 2 和 3.1(7B-405B)上,其二阶变体优于重建基线,免费变体优于激活感知基线。 该方法与 RIA 等技术结合可提升精度,且已被 NeurIPS 2026 接收。
来源:arXiv · ML · arxiv.org