跳到正文
arXiv · NLP· Yaoxiang Wang, Qingguo Hu, Yucheng Ding, Ruizhe Wang, Yeyun Gong, Jian Jiao, Yelong Shen, Peng Cheng, Jinsong Su·· 2026-10-14AI 评分28

**核心事实**:该研究提出 Matryoshka MoE(M-MoE)训练框架,通过向专家组嵌入由粗到细结构,使单一 MoE 模型在改变激活专家数量时表现可匹敌多个专用模型,而总训练成本显著降低。

Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization

AI 导读

**补充细节**:M-MoE 在训练中系统改变激活专家数,引导模型学习有意义排序;经对比,按层随机化策略效果最佳,支持为不同模型层分配差异化的计算预算。 **意义**:该工作为大规模 MoE 模型更具实用性与适应性的部署奠定基础。

来源:arXiv · NLP · arxiv.org