arXiv · AI· Yufei Xu, Fanxu Meng, Fan Jiang, Yuxuan Wang, Ruijie Zhou, Zhaohui Wang, Jiexi Wu, Zhixin Pan, Xiaojuan Tang, Wenjie Pei, Tongxuan Liu, Di Yin, Xing Sun, Muhan Zhang·· 5 小时前AI 评分25
HISA 实现高效层级索引，优化细粒度稀疏注意力
HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
AI 导读
提出 HISA 层级索引器替代 DeepSeek DSA 中的线性扫描，将搜索路径改写为块级粗筛与 token 级精筛的两阶段流程。该方案为即插即用，无需额外训练，保留了下游 Sparse MLA 的 token 级 top-sparse 模式。
来源：arXiv · AI · arxiv.org