跳到正文
arXiv · NLP· Rana Aref Salama, Abdou Youssef, Mona Diab·· 2026-10-06AI 评分25

WNet:基于离散小波变换的高效 Token 混合 Transformer 编码器

WNet: Discrete Wavelets Transform for Efficient Token Mixing

AI 导读

WNet 提出一种基于离散小波变换(DWT)的无注意力 Token 混合方法,替代 Transformer 中的自注意力机制。该架构通过三种无注意力混合器重构多尺度信息,支持线性融合、学习门控或 Token 级尺度选择,并可选在最后层加入自注意力形成混合结构。

来源:arXiv · NLP · arxiv.org