SLA架构在TPU v7x上加速门控Delta注意力
热点事件持续更新
SLA架构在TPU v7x上加速门控Delta注意力
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
针对Google TPU计算单元特性,研究团队提出Systolic Linear Attention(SLA)架构。该架构通过将键宽度扩展至256,并在分组值头间共享键与写门控,重塑了门控Delta注意力的计算流程,旨在解决直接移植时矩阵单元填充浪费的问题。 在TPU v7x上的验证表明,采用两级SLA-R4配置(每个键头对应四个值头)时,该架构在精确分块求逆场景下,速度比开源MaxText KDA快2.1-2.6倍,比Tokamax KDA快1.4-2.4倍。 在资源效率方面,SLA架构相比对比方案减少了49%-61%的临时高带宽内存(HBM)使用量,实现了计算速度与内存占用的双重优化,为TPU平台上的线性注意力模型提供了高效的协同设计方案。
AI 根据报道生成 · 12 小时前更新
最新进展11月19日 13:00
针对 TPU 协同设计的分块门控 Delta 注意力架构 SLA报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · ML针对 TPU 协同设计的分块门控 Delta 注意力架构 SLA
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月19日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。