arXiv · ML· Piyush Dhoka, Vedant Pandhare, Varun Inamdar, Aadarsh Pathre, Pavitha Nooji·· 17 小时前AI 评分26
深度剪枝小语言模型的能力损伤与恢复：LLaMA-3.2 等模型剪枝修复研究
What Breaks and What Comes Back: Capability Damage and Recovery in Depth-Pruned Small Language Models
AI 导读
对 LLaMA-3.2-1B 等四个 1.2B 级小模型深度剪枝后，函数调用和数学推理能力均严重受损，保留率仅为 0.00 至 0.07。 在修复策略上，对最后三个块进行全量微调比全块使用 LoRA 平均保留率高达 0.18。测试发现，均匀修复策略在同等 3.48M 令牌预算下往往优于规划式修复。
来源：arXiv · ML · arxiv.org