跳到正文
arXiv · ML· Ke Li, Zishan Shao, Yiran Chen·· 7 天前AI 评分45

TraceKV:面向推理视觉语言模型的策略保留型低秩 KV 缓存压缩框架

TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models

AI 导读

提出免训练低秩 KV 压缩框架 TraceKV,结合量化实现 5.64× 压缩且近无损推理准确率。 通过统一在线策略校准、敏感度感知 SVD 与全局秩分配,显著降低推理策略 KL 散度。 优化低秩注意力内核带来最高 1.83× 端到端解码加速。

来源:arXiv · ML · arxiv.org