跳到正文
arXiv · AI· Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu·· 4 小时前AI 评分28

SparseGDN:线性注意力中的分块稀疏框架

SparseGDN: Chunk Sparse in Linear Attention

AI 导读

研究人员提出硬件感知框架 SparseGDN,通过块相邻求解器和动态选择器减少长上下文预填充开销。 该方法在 Qwen3.5-4B 和 9B 上实现 1.50-1.94 倍 GDN 核心预填充加速,平均仅保留 29% 的递归事件。

来源:arXiv · AI · arxiv.org