arXiv · NLP· Luis Frentzen Salim, Chia-Chun Wu, Tran Van Nhiem, Lun-Wei Ku, Yung-Hui Li·· 2026-10-14AI 评分33
面向领域通用 Mixture of Experts 剪枝的鲁棒校准数据集研究
Towards Robust Calibration Dataset for Domain-General Mixture of Experts Pruning
AI 导读
针对 Mixture-of-Experts (MoE) 模型的后训练专家剪枝,这项实证研究揭示了校准数据对 gpt-oss-20b 模型性能的关键影响。 研究发现,领域通用的剪枝质量在增加校准数据规模至较小样本量后获益甚微;仅使用英语进行跨语言校准即可在七种不同语系和文字的语言中保持强劲性能;且模仿预训练分布的多样化校准数据,其性能可与甚至优于测试分布数据。
来源:arXiv · NLP · arxiv.org