arXiv · NLP· Muhammad Junaid Ali, Smail Niar, El-Ghazali Talbi·2026-10-20 12:00· 6 小时前AI 评分22

面向时延与模型尺寸优化的 LLM 多目标结构化剪枝

Multi-Objective Structured Pruning of LLMs for Latency and Model Size Optimization

AI 导读

该研究提出一种硬件感知的多目标结构化剪枝框架，在 37.5% 和 50% 剪枝率下，其常识推理任务性能优于现有方法，同时显著降低推理成本。该方法采用两阶段策略：粗粒度阶段移除整个 Attention 和 MLP 块，细粒度阶段通过并行贝叶斯优化在时延约束下搜索最佳逐层剪枝比例。

来源：arXiv · NLP · arxiv.org