arXiv · ML· Carlos Boned Riera, David Romero Sanchez, Oriol Ramos Terrades·· 2 天前AI 评分24
分离高斯算子 SSoG 将 Vision Transformer 注意力成本降至次二次方
Beyond Quadratic Attention: Separable Gaussian Operators for ODE Vision Transformers
AI 导读
SSoG 提出分离高斯算子，将 Vision Transformer 每层注意力成本从 O(N^2) 降至次二次方，并保证全局 Lipschitz 连续性。 在 CIFAR-100 上，SSoG 比密集注意力提升 Top-1 准确率 2.2-8.1 个点，参数减少 8.8-16.6%；在 1024x1024 分辨率下，吞吐量提高至 154%，峰值内存降低 60% 以上。
来源：arXiv · ML · arxiv.org