arXiv · NLP· Shiyu Ji, Yixuan Wang, Yijun Liu, Qingfu Zhu, Wanxiang Che·· 16 天前AI 评分29
EchoKV: 基于相似性重构的高效 KV Cache 压缩框架
EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
AI 导读
EchoKV 提出了一种灵活的 KV Cache 压缩框架,支持在完整缓存与压缩缓存之间按需切换,避免修改模型投影。 该方法利用轻量级网络从部分子集重构被丢弃的 KV 分量,仅需在单张 A100 GPU 上对 Llama-3.1-8B 进行几分钟的两阶段微调。
来源:arXiv · NLP · arxiv.org