arXiv研究揭示LLaMA剪枝损伤及修复策略
热点事件持续更新
arXiv研究揭示LLaMA剪枝损伤及修复策略
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
2026年11月3日，Piyush Dhoka等研究者发布论文，研究深度剪枝对小型语言模型的能力损伤。该研究针对LLaMA-3.2-1B等四个1.2B级小模型，发现深度剪枝导致函数调用和数学推理能力严重受损，保留率仅为0.00至0.07。后续报道指出，模型损伤分布不均，需要通过短时间的微调修复策略来决定哪些能力能够恢复。 在修复策略对比中，研究发现对最后三个块进行全量微调的效果优于全块使用LoRA，平均保留率可达0.18。测试表明，在同等3.48M令牌预算下，均匀修复策略往往优于规划式修复策略。这些发现为小型语言模型的轻量化部署提供了重要的经验证据。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
深度剪枝小语言模型的能力损伤与恢复：LLaMA-3.2 等模型剪枝修复研究报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · ML深度剪枝小语言模型的能力损伤与恢复：LLaMA-3.2 等模型剪枝修复研究
对 LLaMA-3.2-1B 等四个 1.2B 级小模型深度剪枝后，函数调用和数学推理能力均严重受损，保留率仅为 0.00 至 0.07。 在修复策略上，对最后三个块进行全量微调比全块使用 LoRA 平均保留率高达 0.18。测试发现，均匀修复策略在同等 3.48M 令牌预算下往往优于规划式修复。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。