LISA：用于高效长上下文推理的线性索引稀疏注意力

LISA 提出线性索引稀疏注意力机制，将自注意力计算从序列长度二次方降至线性，无需全量预训练。 该机制结合线性注意力与 Lightning Indexer 动态选择相关 token，通过两阶段训练实现。在 DeepSeek 蒸馏 Qwen 模型上，LISA 在 16K 上下文下降低平均延迟 23.9%，且未损害推理质量。