arXiv · NLP· Haozhe Hu, Hao Wu, Peiran Yin, Chao Han, Yunpu Ma, Xiaoyu Shen·· 6 小时前AI 评分31
WIDE：通过 Token 级动态宽度剪枝提升自适应 LLM 推理效率
WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning
AI 导读
WIDE 框架结合 Token 级动态宽度剪枝与 GPU 内核协同设计，显著提升 LLM 推理效率。 在 50% 路由稀疏度下，Llama3.1-8B 准确率较动态基线提升 20.26 分；Qwen3-14B 经 LoRA 微调后保留 97.6% 生成性能。 实现预填充最高 1.68 倍、解码 1.55 倍的端到端加速，代码已开源。
来源：arXiv · NLP · arxiv.org