arXiv · NLP· Amogh Sheth, Andrew Lin, Biruk Assefa, Yi Wen Huang, Yuhao Ge·· 5 小时前AI 评分25
因果归因剪枝（CAP）在大语言模型中保持推理性能
Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models
AI 导读
研究者提出免训练方法 Causal Attribution Pruning (CAP)，通过测量注意力头因果影响指导权重剪枝，在 20% 稀疏度下于 ARC-Challenge 比 Wanda 提升 61% 准确率。
来源：arXiv · NLP · arxiv.org