arXiv · ML· Viet Nguyen, Tuan Minh Pham, Thinh Cao, Tan Dinh, Huy Nguyen, Nhat Ho, Alessandro Rinaldo·· 3 天前AI 评分29
门控注意力统计理论:基于分层专家混合视角的推导
A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts
AI 导读
研究证明门控注意力矩阵可分解为分层专家混合,其学习可重构为专家估计问题。 结果显示门控注意力比多头自注意力更具样本效率,恢复参数仅需多项级数据,而后者需指数级数据。 该分析为门控注意力缓解 Attention Sink 现象及低秩瓶颈提供了理论依据。
来源:arXiv · ML · arxiv.org