ZHA：基于层级树形索引器的亚二次注意力机制

研究者提出亚二次稀疏注意力方法 ZHA，通过构建递归压缩键摘要树实现路由与注意力成本随序列长度亚线性增长。 该方法仅需对预训练模型进行少量 token 的 KL 蒸馏微调，即可支持至 6 层深度的树结构，在长上下文检索及推理编码任务中保持性能。 性能模型显示 ZHA 在超过 100 万上下文时显著优于竞品，具备将有效上下文窗口扩展至数亿或数十亿 token 的潜力。