arXiv · AI· Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng, Ming Zhang, Ning Ding, Qipeng Guo, Youbang Sun, Biqing Qi, Bowen Zhou·· 4 小时前AI 评分28
Meta Expert：面向存储与检索高效 MoE 的跨层专家共享
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
提出跨层共享的 Meta Expert 架构，解决分层 MoE 模型中专家内容冗余问题。 实验显示，固定激活数量与专家粒度下，该模型仅用 Vanilla MoE 70-80% 的专家数量即匹配其性能，同时降低交叉熵损失并提升下游任务精度。 理论上，Meta Expert 提供更灵活的残差路径，从而提升信息检索效率。
来源：arXiv · AI · arxiv.org