LISA：线性索引稀疏注意力提升长文本推理效率
热点事件持续更新
LISA：线性索引稀疏注意力提升长文本推理效率
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
arXiv 发布 LISA 论文，提出线性索引稀疏注意力机制，将自注意力计算复杂度从二次方降至线性。 该机制结合线性注意力与 Lightning Indexer，通过两阶段训练实现，无需全量预训练。 在 DeepSeek 蒸馏 Qwen 模型上，LISA 在 16K 上下文下降低平均延迟 23.9%，未损害推理质量。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
LISA：用于高效长上下文推理的线性索引稀疏注意力报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · AILISA：用于高效长上下文推理的线性索引稀疏注意力
LISA 提出线性索引稀疏注意力机制，将自注意力计算从序列长度二次方降至线性，无需全量预训练。 该机制结合线性注意力与 Lightning Indexer 动态选择相关 token，通过两阶段训练实现。在 DeepSeek 蒸馏 Qwen 模型上，LISA 在 16K 上下文下降低平均延迟 23.9%，且未损害推理质量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。