arXiv · NLP· Rana Aref Salama, Abdou Youssef, Mona Diab·· 2026-10-06AI 评分25
WNet:基于离散小波变换的高效 Token 混合 Transformer 编码器
WNet: Discrete Wavelets Transform for Efficient Token Mixing
AI 导读
WNet 提出一种基于离散小波变换(DWT)的无注意力 Token 混合方法,替代 Transformer 中的自注意力机制。该架构通过三种无注意力混合器重构多尺度信息,支持线性融合、学习门控或 Token 级尺度选择,并可选在最后层加入自注意力形成混合结构。
来源:arXiv · NLP · arxiv.org