arXiv · AI· Wajih Hassan Raza, Ahsan Bilal, Yidan Shen, Renjie Hu, Xin Fu, Yu Wen·· 11 天前AI 评分20
Head-Adaptive Sparse Attention (HASA) 基于 Query-Key 交互结构实现 LLM 注意力加速
Attend at the Right Resolution: Head-Adaptive Sparse Attention via Query-Key Interaction Structure
AI 导读
针对 LLM 中注意力机制的扩展性瓶颈,提出免训练的 Head-Adaptive Sparse Attention (HASA) 框架。该框架通过每个注意力头的 Query-Key 算子奇异谱确定有效秩,并基于方向一致性逐步合并邻近区域。
来源:arXiv · AI · arxiv.org