arXiv · ML· Mansour Zoubeirou a Mayaki·· 16 小时前AI 评分23
MoE Transformer 泛化与扩展定律
Generalization and Scaling Laws for Mixture-of-Experts Transformers
AI 导读
该研究建立了 Mixture-of-Experts (MoE) Transformer 的泛化与扩展理论。 理论将 active per-input capacity 与 routing combinatorics 分离，推导了 sup-norm covering-number bound。 证明了模型在近似与估计间的权衡，并得出了关于模型规模和数据量的 neural scaling laws。
来源：arXiv · ML · arxiv.org