arXiv · ML· Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong·· 6 小时前AI 评分33
LiteTopK：利用维度灾难优化长上下文稀疏注意力融合 Indexer-TopK 内核
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
AI 导读
研究人员提出 LiteTopK，一种通过采样估计分数范围并分桶以优化长上下文稀疏注意力的融合 Indexer-TopK 内核，在保持精确 Top-K 正确性的同时减少内存开销。
来源：arXiv · ML · arxiv.org