RecSA 提出递归稀疏注意力机制支持百万 Token 长文本

2026 年 11 月 6 日，arXiv 发布新报道。研究者提出 RecSA（递归稀疏注意力）模型，通过构建 KV cache 树结构，将选择成本降至 O(log L)，旨在实现百万级 Token 长度外推。 该模型基于 Qwen3-4B 初始化，在保持原有 32K 训练长度的基础上，仅用 0.62B tokens 进行训练。实验结果显示，其在 RULER 基准 1M 长度测试中得分 60.5，性能优于稠密注意力基线。 在硬件效率方面，RecSA 在 H200 GPU 上处理 524K 长度文本时，预填充速度提升 3.2 倍，解码速度提升 3.8 倍，展示了长文本推理的显著加速潜力。

AI 根据报道生成 · 22 小时前更新