arXiv · ML· Yaoyang Liu, Shuwei Shen, Jincheng Tang, Jinguang Liu, Jinbao Xue, Hailong Yang, Ke Zhang, Yinjun Wu·· 2026-10-14AI 评分42
BELT 提出低秩 KV 缓存压缩框架,优化注意力分布以提升长上下文推理效率
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
AI 导读
BELT 提出了一种针对长上下文推理的低秩 KV 缓存压缩框架。通过优化注意力分布而非原始键值,BELT 实现了 70% 的 KV 缓存低秩压缩率。 在保持同等精度的同时,结合量化技术可提升 17.8 倍的 KV 缓存减少量。
来源:arXiv · ML · arxiv.org