跳到正文
arXiv · ML· Ambroise Borbely, Mathieu Salzmann, Olivier Verscheure·· 17 小时前AI 评分30

HiSA:通过稀疏化 RoPE 注意力隐层维度优化 LLM

HiSA: Sparsifying the Hidden Dimension of RoPE Attention in LLMs

AI 导读

HiSA 提出隐层稀疏注意力,基于 RoPE 结构仅计算约三分之一的 Query-Key 点积,且在从头训练 LLM 时性能优于完整点积。 方法将键和查询分解,按静态无参数规则在隐层维度实现稀疏化,并扩展至 FlashAttention-3 内核以加速推理并缩减内存占用。

来源:arXiv · ML · arxiv.org