arXiv · ML· Joshua Offergeld, John Chidiac, Marcel van Gerven, Nasir Ahmad·· 3 小时前AI 评分21
Subspace Node Pruning:一种基于重要性解耦的无重训练节点剪枝方法
Subspace Node Pruning
AI 导读
Subspace Node Pruning 提出通过基变换与正交化解耦重要性度量,实现无重训练的多节点剪枝。该方法在 ImageNet 的 VGG-16 和 ResNet-50 上超越基线,并在 OPT-125M 和 LLaMA-2 7B 上,于 40-shot 下匹配 LLM Surgeon,fewer shots 时表现更优。
来源:arXiv · ML · arxiv.org