跳到正文
arXiv · NLP· Eros Fan\`i, O\u{g}uzhan Ersoy·· 13 小时前AI 评分30

DUME:无需训练动态合并专家语言模型的MoE方法

Training-Free Dynamic Upcycling of Expert Language Models

AI 导读

论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。

来源:arXiv · NLP · arxiv.org