arXiv · AI· Tianxiang Xia, Kai Lion, Niao He, Michael Muehlebach, Melanie Zeilinger, Hao Ma·· 4 小时前AI 评分33
S-SALAAD：联合学习低秩与结构化稀疏以实现大模型高效推理
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
AI 导读
提出S-SALAAD框架，通过联合学习模型权重的低秩与结构化稀疏组件，在Llama2和Qwen3模型上实现了跨多种内存预算的高效推理。 框架支持硬件兼容的结构化稀疏模式，并包含针对CPU和GPU的专用内核。实验表明，S-SALAAD在困惑度、内存和推理延迟方面优于对比基线。
来源：arXiv · AI · arxiv.org