跳到正文
arXiv · ML· Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho·· 9 天前AI 评分41

混合专家模型如何被剪枝和蒸馏成稠密语言模型

Pruning and Distilling Mixture-of-Experts into Dense Language Models

AI 导读

提出了首个将混合专家模型系统性地转换为标准稠密架构的框架。框架经过评分、选择、分组和知识蒸馏四个步骤,在 Qwen3-30B-A3B 上评测了 350 种配置。

来源:arXiv · ML · arxiv.org