arXiv · AI· Jean Lucien Randrianantenaina, Hung Nguyen, Nasib Ullah, Jinbin Zhang, Nilesh Gupta, Inderjit S. Dhillon, Rohit Babbar·· 4 小时前AI 评分23
提出 ETAPS 方法：在极端稀疏度下高效修剪大语言模型
Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity
AI 导读
ETAPS 通过渐进修剪与稀疏适应，在 50% 至 90% 稀疏度下均优于 ELSA 的困惑度，最高降低 42%。该方法仅需单个 H200 即可修剪 LLaMA2-7B，总持久状态比 ELSA 小 5 倍，GPU 小时数减少 49%。研究发现这一方法能在极端稀疏度下以显著更低成本实现高质量模型修剪。
来源：arXiv · AI · arxiv.org