arXiv · ML· Cameron Barker, Andreas Paraskeva, Jan N. van Rijn, Elliot J. Crowley, Henry Gouk·· 2026-10-14AI 评分25
面向硬件的高效大语言模型异构结构化剪枝
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
AI 导读
提出异构结构化剪枝(HSP)框架,通过结合多种稀疏结构选项和硬件延迟内存约束,优化预训练大语言模型的部署效率。 在 OPT 和 LLaMA 模型于 NVIDIA Jetson Orin Nano Super 边缘设备上的评估中,HSP 在保持质量的同时改进了资源效率前沿。
来源:arXiv · ML · arxiv.org