arXiv · NLP· Zeng You, Yaofo Chen, Qiuwu Chen, Ying Sun, Shuhai Zhang, Yingjian Li, Yaowei Wang, Mingkui Tan·· 5 小时前AI 评分29
提出 Latent-Condensed Attention (LCA) 用于高效长上下文建模
Latent-Condensed Transformer for Efficient Long Context Modeling
AI 导读
研究者提出 Latent-Condensed Attention (LCA) 以优化长上下文处理，在 128K 上下文下实现 2.5× prefilling 加速和 90% KV cache 压缩。 LCA 基于 MLA 潜在空间，通过语义向量聚合与位置键保留降低计算成本且不增加参数，并证明了长度无关误差界。 该方法已被 ACL 2026 接收，展示了在保持竞争性性能同时显著提升效率的能力。
来源：arXiv · NLP · arxiv.org