跳到正文
arXiv · ML· Joshua Offergeld, John Chidiac, Marcel van Gerven, Nasir Ahmad·· 3 小时前AI 评分21

Subspace Node Pruning:一种基于重要性解耦的无重训练节点剪枝方法

Subspace Node Pruning

AI 导读

Subspace Node Pruning 提出通过基变换与正交化解耦重要性度量,实现无重训练的多节点剪枝。该方法在 ImageNet 的 VGG-16 和 ResNet-50 上超越基线,并在 OPT-125M 和 LLaMA-2 7B 上,于 40-shot 下匹配 LLM Surgeon,fewer shots 时表现更优。

来源:arXiv · ML · arxiv.org