热点事件持续更新

ICML 2026 发布 MoE Transformer 泛化与缩放理论

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

研究人员 Mansour Zoubeirou a Mayaki 在 ICML 2026 上发布了论文《Generalization and Scaling Laws for Mixture-of-Experts Transformers》。该研究建立了 Mixture-of-Experts (MoE) Transformer 的泛化与扩展理论，旨在解决模型泛化性能与规模扩展之间的理论空白。该理论创新地将 active per-input capacity 与 routing combinatorics 进行分离处理，并推导出了 sup-norm covering-number bound。这一数学工具为理解 MoE 模型在复杂路由下的行为提供了新的理论框架，明确了模型内部不同组件在泛化过程中的作用。研究进一步证明了模型在近似误差与估计误差之间的权衡关系，并据此得出了关于模型规模和数据量的 neural scaling laws。这些定律为预测大规模 MoE 模型的性能提供了理论依据，指导未来的模型训练与资源配置策略。

AI 根据报道生成 · 12 小时前更新

最新进展10月22日 12:00

MoE Transformer 泛化与扩展定律

报道时间线

沿着报道，了解事件的不同侧面。

10月22日

12:00
arXiv · ML
MoE Transformer 泛化与扩展定律
该研究建立了 Mixture-of-Experts (MoE) Transformer 的泛化与扩展理论。理论将 active per-input capacity 与 routing combinatorics 分离，推导了 sup-norm covering-number bound。证明了模型在近似与估计间的权衡，并得出了关于模型规模和数据量的 neural scaling laws。

本事件热度走势

可比范围当前: 7
可比范围峰值: 910月22日 16:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。