arXiv · ML· Minsang Kim, Seungjun Baek·· 4 小时前AI 评分35
MoEZip：面向稀疏混合专家大语言模型的路由感知 KV 缓存压缩方法
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
AI 导读
MoEZip 提出一种路由感知的 KV 缓存压缩方法，针对稀疏 MoE 语言模型在长上下文推理中因 KV 缓存线性增长导致的内存瓶颈，通过结合 Fisher 信息矩阵评估专家路由敏感度，并在保留 10% KV 的条件下，在 LongBench 和 RULER 基准上分别较 SoTA 基线平均提升 +24 和 +20 分，对应得分提升 2.3 倍和 4.9 倍。
来源：arXiv · ML · arxiv.org