跳到正文
arXiv · ML· Ali Parviz, Alex Cloninger, Gal Mishne·· 10 天前AI 评分22

NearFormer:通过随机近邻实现线性规模稀疏注意力

NearFormer: Linear-Size Sparse Attention via Randomized Near Neighbors

AI 导读

图 Transformer 提出新模型 NearFormer,将全局注意力限制在随机化近邻图上。 在固定保留预算 k 下,其注意力支持规模达线性 O(|E|+nk)。实验显示其在长程基准测试中保持了精度与扩展性的良好权衡。

来源:arXiv · ML · arxiv.org