arXiv · NLP· Zelin Zhao, Tianchi Ma, Junyuan Shang, Shuohuan Wang, Dianhai Yu·· 5 小时前AI 评分42
Multi-View MoE：让每个路由器塑造专家计算
Multi-View MoE: Letting Every Router Shape Expert Computation
AI 导读
论文提出 Multi-View MoE，通过多路由器聚合评分并复用偏好来调制专家计算，在固定预算下提升稀疏 MoE 的专家选择效率。 在 24 层 10B-A1B 模型上，该方法使九项下游任务平均分提升 1.18 个百分点，仅多路由器模块也带来 0.6 个百分点增益。 模型在保持激活专家数与通信量不变的情况下，显著改善了路由器评分与专家效用排名的相关性。
来源：arXiv · NLP · arxiv.org