arXiv · ML· Emre U\u{g}ur, Jiawen Qi, Qinyu Chen·· 16 小时前AI 评分40
DTS: 基于 Delta 的瓦片评分用于高效长上下文稀疏注意力
DTS: Delta-Based Tile Scoring for Efficient Long-Context Sparse Attention
AI 导读
summary_zh: DTS 提出了一种免训练的稀疏块注意力瓦片评分方法,在 LLaMA-3.1-8B-Instruct 上表现优异。 其在 128K 上下文下评分延迟降低 38%,512K 时预填充速度提升 3.3 倍。
来源:arXiv · ML · arxiv.org