跳到正文
arXiv · ML· Hanzhang Shen, Haoran Wu, Yiren Zhao, Robert Mullins·· 16 小时前AI 评分28

TriAxialKV 面向智能体推理任务的极致低精度 KV-Cache 量化

TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks

AI 导读

TriAxialKV 提出三维混合精度 KV-Cache 量化方案,在 Qwen3-VL-32B-Thinking 模型上匹配 BF16 精度。 该方案通过校准每个标签的敏感度并分配 INT2/INT4 位宽,在固定内存预算下实现了 4.5 倍的 KV cache 容量提升。 系统端到端吞吐量提高 30%,NeurIPS 2026 已接受。

来源:arXiv · ML · arxiv.org