arXiv · ML· Jimyung Hong, Jaehyung Kim·· 9 小时前AI 评分36
DIET：通过合并任务级重要性分数实现 LLM 的无训练维度级全局剪枝
Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
AI 导读
DIET 是一种无需训练的结构化剪枝方法，在 Gemma-2 2B 模型 20% 稀疏度下，平均准确率较 SliceGPT 提升 2.1 个百分点，较 PuDDing 提升 9.2 个百分点。 该方法使用每个任务 100 个样本激活幅值，通过多数投票构建全局掩码，并在 7 个零样本基准测试上验证了其在 2B 和 9B 模型上的有效性。
来源：arXiv · ML · arxiv.org