Zyphra 提出 ZHA 亚二次方注意力方法

1. 13:00
   arXiv · AI

   ZHA：基于层级树形索引器的亚二次注意力机制

   研究者提出亚二次稀疏注意力方法 ZHA，通过构建递归压缩键摘要树实现路由与注意力成本随序列长度亚线性增长。 该方法仅需对预训练模型进行少量 token 的 KL 蒸馏微调，即可支持至 6 层深度的树结构，在长上下文检索及推理编码任务中保持性能。 性能模型显示 ZHA 在超过 100 万上下文时显著优于竞品，具备将有效上下文窗口扩展至数亿或数十亿 token 的潜力。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。