arXiv · ML· Emil Sch\"atzle, Markus P\"uschel·· 11 天前AI 评分31
MINE:面向大语言模型的高效内存推理引擎
MINE: Entropy-coded Memory-efficient Inference for Large Language Models
AI 导读
MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。
来源:arXiv · ML · arxiv.org