SANTA++无训练随机注意力方法获1.38倍加速
热点事件持续更新
SANTA++无训练随机注意力方法获1.38倍加速
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
SANTA++ 团队 Kerem Camsari 等人在 arXiv cs.CL 领域提出了一种无需训练的随机注意力方法。该方法利用代表性键对缓存键进行分组采样,在 32K 上下文长度下保留了 95-98% 的密集注意力分数。 在性能表现上,研究团队在 RTX 5090 显卡上验证了算法效率。当序列长度 S=1024 时,其 Triton 实现相比 PyTorch Flash SDPA 后端在 FP16 精度下实现了 1.38 倍的注意力算子速度提升。 团队已公开了相关的算法内核及 Triton 实现代码,旨在为长上下文处理提供一种低开销且保留高精度的替代方案。
AI 根据报道生成 · 12 小时前更新
最新进展11月19日 13:00
SANTA++ 通过代表性键实现采样注意力报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv · NLPSANTA++ 通过代表性键实现采样注意力
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1011月19日 14:00
- 近 24 小时变化
- –
02.557.510
14:0016:0018:0020:0022:0011月20日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。