arXiv · NLP· Kyle Lee, Christian Z. Pratt, Ruoyu Fang, Heekyung Lee, Avinash Lohitsa, Ryan Modafe, Kerem Y. Camsari·· 13 小时前AI 评分23
SANTA++ 通过代表性键实现采样注意力
SANTA++: Sampling Attention through Representative Keys
AI 导读
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
来源:arXiv · NLP · arxiv.org