arXiv · ML· Liang Xu, Shufan Shen, Zhongni Hou, Yufei Zhang, Wei Lin, Guojun Yin, Shuhui Wang·· 7 小时前AI 评分25
LOOP 框架提出通过在线策略蒸馏实现对齐恢复的迭代层剪枝
LOOP: Recovery-Aligned Iterative Layer Pruning via On-Policy Distillation
AI 导读
针对 LLM 部署中一次性层剪枝易导致推理能力严重退化且恢复困难的问题，提出迭代式框架 LOOP。 该框架将剪枝与恢复交叉执行，每次移除单层并进行短期在线策略蒸馏，利用恢复过程的轨迹与信号实现感知恢复的层选择。 实验表明，在不同模型规模和剪枝比率下，LOOP 的平均准确率持续优于一次性基线方法。
来源：arXiv · ML · arxiv.org