跳到正文
arXiv · NLP· Rocktim Jyoti Das, Mukul Ranjan, Mingjie Sun, Liqun Ma, Zhiqiang Shen·· 2026-10-15AI 评分21

GBLM-Pruner: How Gradients Shape Pruning Decisions in Large Language Models

Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models

AI 导读

针对预训练 LLM,GBLM-Pruner 利用一阶 Taylor 项和校准样本梯度实现无训练剪枝。 该方法在 LLaMA、Qwen 和 DeepSeek 模型的 Zero-shot、STEM 和 Coding 基准中,大幅超越 Magnitude 剪枝与 Wanda,性能与 SparseGPT 相当。

来源:arXiv · NLP · arxiv.org