arXiv · ML· Weilin Wan, Jingtao Han, Debing Zhang, Weizhong Zhang, Cheng Jin·· 2026-10-14AI 评分30
NeurIPS 2026论文提出MoE模型全局扩展定律优化框架
Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization
AI 导读
该研究提出MoE架构优化框架,在670+个模型上验证了计算预算与最优架构的映射扩展定律。 框架通过数学解耦将搜索空间从O(n^16)降至O(n^3)+O(n^2),揭示近优配置带宽随规模扩大的定量规律。 该成果为任意计算预算下设计最优MoE模型提供了可操作的工程蓝图。
来源:arXiv · ML · arxiv.org