LiteTopK发布长上下文稀疏注意力内核

2026年10月28日，研究人员在arXiv发布LiteTopK，这是一种融合Indexer-TopK的稀疏注意力内核。该方案通过采样估计分数范围并分桶，旨在优化长上下文场景下的注意力计算，同时减少内存开销。 LiteTopK在保持精确Top-K正确性的前提下进行了性能优化。研究团队在GLM-5.2、DeepSeek-V4-Flash及Hy-4-Preview模型上进行了实验验证，测试上下文长度达到1百万tokens，结果显示该内核未损害模型原有能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。