LCA实现长上下文建模与效率提升

研究者提出Latent-Condensed Attention (LCA)机制，旨在优化长上下文处理。该方法基于MLA潜在空间，通过语义向量聚合与位置键保留降低计算成本，且无需增加参数。在128K上下文场景下，LCA实现了2.5倍prefilling加速及90%的KV cache压缩，并证明了长度无关误差界。 该研究成果已被ACL 2026接收。LCA在保持竞争性性能的同时显著提升了效率，展示了长上下文建模领域在效率优化方面的重要进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。