稀疏注意力被证明对应紧致核回归

2026年10月28日，arXiv数学系机器学习方向发表研究，建立稀疏注意力与紧致核回归之间的形式化对应。该研究指出，归一化ReLU和Sparsemax注意力机制分别源自Epanechnikov核在固定和自适应归一化下的推导。基于此统一视角，研究者提出Memory Mosaics模型，验证了基于核的稀疏注意力在语言建模、上下文学习和长度泛化任务上具有竞争力的性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。