跳到正文
蚂蚁开源· vLLM 社区·· 29 天前AI 评分43

蚂蚁集团 x vLLM 联合开源 Humming:高性能、灵活的量化推理内核

AI 导读

蚂蚁集团联合 vLLM 社区开源量化推理算子库 Humming,旨在解决大模型量化部署中的显存与性能瓶颈。 Humming 支持多种 GPU 及 WnA16、W4A8 等量化组合,实测性能优于 Marlin 等方案;其 wheel 包仅 500 KB,已集成至 vLLM 0.29.0 版本。 该库通过统一架构降低内核维护成本,提升低比特权重在实际推理中的吞吐效率。

来源:蚂蚁开源 · mp.weixin.qq.com