arXiv · AI· Mingze Wang, Jinbo Wang, Yikuan Xia, Kai Shen, Shu Zhong·· 8 小时前AI 评分37
Mixture of Activations (MoA) 提升 Transformer 前馈层表达能力
More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations
AI 导读
研究人员提出 Mixture of Activations (MoA)，这是一种通过输入依赖门控混合激活函数字典的前馈层设计，旨在提升 Transformer 大语言模型的表达能力。
来源：arXiv · AI · arxiv.org