arXiv · ML· Ali Parviz, Alex Cloninger, Gal Mishne·· 10 天前AI 评分22
NearFormer:通过随机近邻实现线性规模稀疏注意力
NearFormer: Linear-Size Sparse Attention via Randomized Near Neighbors
AI 导读
图 Transformer 提出新模型 NearFormer,将全局注意力限制在随机化近邻图上。 在固定保留预算 k 下,其注意力支持规模达线性 O(|E|+nk)。实验显示其在长程基准测试中保持了精度与扩展性的良好权衡。
来源:arXiv · ML · arxiv.org