跳到正文
arXiv · NLP· Luis Frentzen Salim, Komang Rinartha, Chia-Chun Wu, Tran Van Nhiem, Lun-Wei Ku, Yung-Hui Li·· 2026-10-14AI 评分30

LLM 剪枝-恢复步骤的脆弱性与动态机制研究

The Fragility and Dynamics of LLM Pruning-Recovery Steps

AI 导读

LLM 剪枝后指令跟随能力最先崩溃,远早于知识、推理或核心语言建模能力。该过程主要表现为对提示词响应的域无关性失败,而非单纯的知识丢失。 领域内数据是最强的剪枝信号,而指令风格数据在恢复阶段效果最佳。该研究为组合 LLM 剪枝与恢复提供了具体的实践方案。

来源:arXiv · NLP · arxiv.org