跳到正文
arXiv · ML· Gagik Amirkhanyan, Nuojin Cheng·· 12 小时前AI 评分28

针对 TPU 协同设计的分块门控 Delta 注意力架构 SLA

Systolic Linear Attention: Co-Designing Tile-Grouped Gated Delta Attention for TPUs

AI 导读

研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。

来源:arXiv · ML · arxiv.org