arXiv · ML· Zi Yang, Ying Li, Alejandro Lancho, Dar\'{i}o C. Larese, Pablo M. Olmos, Michael Minyi Zhang·· 6 小时前AI 评分33
Flow-based Spectral Kernel Learning for Nonstationary Attention
Flow-based Spectral Kernel Learning for Nonstationary Attention
AI 导读
论文提出基于流的频谱核注意力（FSKA），通过正态流参数化双变量频谱密度学习非平稳核，移除Query-Key投影使可训练参数减少40%–47%。 FSKA兼容线性注意力计算并保持有利的内存扩展性，在分类、消融及可扩展性剖析实验中展现出与现有注意力机制相当或更优的性能。
来源：arXiv · ML · arxiv.org