arXiv · ML· Xiancai Tian, Leichao Zhang, Shenhui Zhang, Yi Shan, Hailong Li, Feng Lin, Xiaotian Yu, Aijun Li·· 10 天前AI 评分21
CALFA-KV:面向 1-Bit KV Cache 压缩的联合校准与 Fisher 引导锚点
CALFA-KV: Joint Calibration and Fisher-Guided Anchors for 1-Bit KV Cache Compression
AI 导读
CALFA-KV 通过联合校准与 Fisher 引导锚点实现 1-bit KV cache 压缩,在 7 个基准测试中优于所有 1-bit 基线。 该技术在线阶段利用敏感度加权重建误差,保留高评分状态的高精度存储,每层每 KV 头预算 56 个 FP16 锚点。
来源:arXiv · ML · arxiv.org