arXiv · NLP· Eros Fan\`i, O\u{g}uzhan Ersoy·· 13 小时前AI 评分30
DUME:无需训练动态合并专家语言模型的MoE方法
Training-Free Dynamic Upcycling of Expert Language Models
AI 导读
论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。
来源:arXiv · NLP · arxiv.org