arXiv · NLP· Hongyu Yu, Yifei Shen·· 8 小时前AI 评分28
单GPU 70B LLM推理预算感知压缩管道：方法、权衡与耦合效应
Budget-Aware Compression Pipeline for Single-GPU LLM Inference: Methods, Trade-offs, and Coupling Effects
AI 导读
研究提出单GPU LLM推理预算感知设计框架，验证了70B模型在单张A40 GPU上的压缩部署。 通过分层剪枝增强权重量化鲁棒性，结合KV缓存稀疏化与INT8量化，将模型压缩至33 GB，10k token提示词下持续输出约57 tokens/s。 精度在常见及推理基准测试中保持绝对误差5%以内，为单GPU约束下的自动管道搜索提供基础。
来源：arXiv · NLP · arxiv.org