arXiv · ML· Ruitian Wang, Xinyu Yang, Minshen Zhang, Hao Zhang·· 23 小时前AI 评分27
RecSA：实现百万级 Token 长度外推的递归稀疏注意力机制
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
AI 导读
RecSA 通过构建 KV cache 树结构实现 O(log L) 选择成本，支持百万 Token 长度外推。 基于 Qwen3-4B 初始化并在 0.62B tokens 上训练，RULER 基准 1M 长度得分 60.5，优于稠密注意力基线。 在 H200 GPU 上 524K 长度时，预填充和解码速度分别提升 3.2 倍和 3.8 倍。
来源：arXiv · ML · arxiv.org