arXiv · NLP· Mingzi Cao, Xi Wang, Nikolaos Aletras·· 21 天前AI 评分42
DS-Upcycling:基于模型扩展的多领域大语言模型适应方法
Upcycling Language Models for Multiple Specialized Domains
AI 导读
针对多领域适应中LoRA性能受限及干扰问题,论文提出Domain-Specialized Upcycling (DS-Upcycling)方法。该方法通过新增专家模块和路由机制扩大模型容量,实现更优的领域知识优先级处理。
来源:arXiv · NLP · arxiv.org