arXiv · NLP· Povilas Kvedaras, Tomas Rasymas·· 10 天前AI 评分33
混合注意力语言模型的 KV Cache 转换:MLA 隐向量、线性注意力状态与稀疏注意力索引器
Translating KV Caches Between Hybrid-Attention Language Models: MLA Latents, Linear-Attention States and Sparse-Attention Indexers
AI 导读
研究展示了混合注意力模型的 KV Cache 转换技术,避免重新阅读历史。在 Kimi-VL-A3B 与 Kimi-Linear-48B 等 16-48B 模型对中,线性映射使 MLA 隐向量转换达到原生质量,首次 token 时间缩短 18.7-46.8 倍。 长程召回从 0.09 提升至 0.99,GDN 混合双向可达原生水平,为 300B+ 旗舰模型提出假设路径。
来源:arXiv · NLP · arxiv.org