跳到正文
arXiv · NLP· Dayou Du, Woon Yee Ng, Guangming Sheng, Nick Lau, Jianyi Cheng, Luo Mai·· 11 天前AI 评分21

BitDecoding-FP4:通过算法系统协同设计实现原生 FP4 KV Cache 解码

BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design

AI 导读

提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。

来源:arXiv · NLP · arxiv.org