arXiv · ML· Saul Santos, Nuno Gon\c{c}alves, Daniel C. McNamee, Marcos Treviso, Andr\'e F. T Martins·· 6 小时前AI 评分23
稀疏注意力作为紧致核回归
Sparse Attention as Compact Kernel Regression
AI 导读
该研究建立稀疏注意力与紧致核回归的正式对应，揭示归一化 ReLU 和 Sparsemax 分别源自 Epanechnikov 核在固定和自适应归一化下的推导。
来源：arXiv · ML · arxiv.org