arXiv · AI· Michel Fabrice Serret, Laura Grigori·· 5 小时前AI 评分21
基于核插值方法的注意力机制上下文压缩
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
AI 导读
该研究提出 GAIM 和 Q-DAIM 两种基于核插值的 KV-cache 压缩方法，解决注意力机制的二次复杂度瓶颈。 结合 Taylor 级数、Performer 和随机傅里叶特征等代理模型将压缩计算降至线性时间，并扩展至流式注意力场景。 在 LongBench-E 基准上初步验证性能可比肩 SOTA 方法，有助于识别 KV 缓存中信息集中区域。
来源：arXiv · AI · arxiv.org