跳到正文
arXiv · ML· Xuan Luo, Zhiyuan Wang, Hanzhong Cao, Xifeng Yan·· 7 天前AI 评分43

KVPath 论文:利用低维增量连接 Transformer 各层 KV 表示

KVPath: Connecting Key-Value Representations Across Transformer Layers

AI 导读

新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。

来源:arXiv · ML · arxiv.org