arXiv · ML· Hangyu Zheng, Zhihao Shu, Kunxiong Zhu, Minghai Qin, Xiaolong Ma, Gagan Agrawal, Wei Niu·· 17 小时前AI 评分20
BitLLM：高效低比特、隐藏转换的移动端 GPU LLM 解码引擎
BitLLM: Efficient Low-Bit, Conversion-Hiding LLM Decoding on Mobile GPUs
AI 导读
BitLLM 是一款面向移动 GPU 的低比特 LLM 推理引擎，通过整数原生执行流水线与自适应 KV cache 布局，解决了量化模型中的类型转换和内存访问瓶颈。在现有商用移动 GPU 上测试，其平均速度相比主流引擎提升 1.47 至 1.78 倍，长上下文生成时单 token 能耗降低最多 88.9%。
来源：arXiv · ML · arxiv.org