arXiv · NLP· Tomas Rasymas, Povilas Kvedaras·· 10 天前AI 评分40
Prune, Don't Merge: Expert Compression of Mixture-of-Experts LLMs on Multilingual Production Tasks
Prune, Don't Merge: Expert Compression of Mixture-of-Experts LLMs on Multilingual Production Tasks
AI 导读
在生产级多语言任务中,专家剪枝(REAP)显著优于专家合并(REAM)。 在 Qwen3-30B-A3B-Instruct-2507 和 Nemotron-3.5-Lightning 模型上,剪枝在 20 次对比中的 16 次胜出;移除 25% 专家时,REAP 保留 93.6% 生成质量,而 REAM 仅保留 62.5%。
来源:arXiv · NLP · arxiv.org