跳到正文
arXiv · ML· Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu·· 2026-10-16AI 评分30

重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖

Rethinking Calibration for High-Sparsity LLM Pruning: From Single Sources to Capability Coverage

AI 导读

高稀疏度LLM剪枝的校准集选择应视为能力覆盖问题,单一来源无法保留所有能力。 在60%稀疏度下,不同策略在代码保留度上差异达51.9分;均匀混合的Balanced策略在C4上优势随稀疏度增加而扩大,IGSP方法在LLaMA上表现优于先前自我生成方法。 能力覆盖是设计高稀疏度剪枝的核心变量。

来源:arXiv · ML · arxiv.org