跳到正文
arXiv · AI· Wajih Hassan Raza, Ahsan Bilal, Yidan Shen, Renjie Hu, Xin Fu, Yu Wen·· 11 天前AI 评分20

Head-Adaptive Sparse Attention (HASA) 基于 Query-Key 交互结构实现 LLM 注意力加速

Attend at the Right Resolution: Head-Adaptive Sparse Attention via Query-Key Interaction Structure

AI 导读

针对 LLM 中注意力机制的扩展性瓶颈,提出免训练的 Head-Adaptive Sparse Attention (HASA) 框架。该框架通过每个注意力头的 Query-Key 算子奇异谱确定有效秩,并基于方向一致性逐步合并邻近区域。

来源:arXiv · AI · arxiv.org