arXiv · NLP· Yuanhang Gao, Xiangrui Yang, Lingyuan Meng, Yuanfeng Chen, Dongsheng Li·· 3 天前AI 评分28
GaugeRoPE:RoPE 兼容的可执行潜在注意力机制
GaugeRoPE: RoPE-Compatible Executable Latent Attention
AI 导读
GaugeRoPE 提出了一种无需训练的潜在 KV 缓存压缩方法,在 Mistral-7B 上实现 5.85 倍压缩,解码吞吐量提升 2.48 倍。 该方法通过 RoPE 兼容载波与位置无关残差 KV 修正,避免逐 token 历史 K/V 重建,支持 MHA 和 GQA 架构。
来源:arXiv · NLP · arxiv.org