arXiv · ML· Sankar Behera, Dhruv Singh, Anshika Agnihotri, Raj Kumar Choudhary, Satyadev Ahlawat, Yamuna Prasad·· 7 天前AI 评分33
LILA: 基于潜在谱几何的 LLM 无数据结构化剪枝
LILA: Data-Free Structured Pruning of LLMs via Latent Spectral Geometry
AI 导读
summary_zh: LILA 提出一种无数据结构化剪枝方法,利用 NMF 分解和 KS 距离评分神经元重要性,无需校准数据或梯度计算。 在 7 个模型家族(最高 70B)的评测中,LILA 在 LLaMA-2-7B 上零样本准确率比 PruneNet 高 2.12 pp,比 SliceGPT 高 6.1 pp;经 LoRA RFT 后优势更显著。
来源:arXiv · ML · arxiv.org