跳到正文
arXiv · AI· Noam Elata, Itay Lamprecht, Mikey Shechter, Daniel Ohayon, Itay Hubara, Daniel Soudry·· 2026-10-06AI 评分36

SAGA:非对称稀疏注意力加速大语言模型解码

More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding

AI 导读

提出SAGA非对称组查询注意力与Atop-N近似稀疏注意力,解耦键值头数量。 在1.5B参数模型上,长上下文端到端解码速度较GQA基线提升超2倍,质量接近同等GQA模型。 提供高效微调方法将预训练模型转换为SAGA架构,无需昂贵重训练,已发表于NeurIPS 2026。

来源:arXiv · AI · arxiv.org