arXiv · NLP· Atindra Jha, Margaret Li, Jure Leskovec, Percy Liang, Luke Zettlemoyer·· 2026-10-08AI 评分22
数据稀缺下的模型稀疏性:Mixture-of-Experts 对重复数据更易过拟合
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
AI 导读
Mixture-of-Experts 在数据重复训练中比稠密模型退化更快,且随稀疏度增加而加剧。在 80M 至 1B 激活参数范围内,MoE 在 4 倍重复率即开始受损,而稠密模型在 8 倍重复率下影响较小。 通过引入 dropout 等基于掩码的正则化方法,MoE 即使在数据重复超过 64 次时仍能超越稠密模型,但无法完全恢复至全量唯一数据的性能水平。
来源:arXiv · NLP · arxiv.org