arXiv · NLP· Minglei Li, Peng Ye, Haonan He, Jingqi Ye, Qingyu Yang, Tao Chen·· 6 小时前AI 评分27
MoE LLM参数高效微调实证研究
An Empirical Study of Parameter-Efficient Fine-Tuning for Mixture-of-Experts LLMs
AI 导读
针对MoE架构缺乏PEFT系统方案的问题，大规模实验发现单独适配专家层在同等参数量下可获得最高下游性能。LoRA和DoRA组合在下游精度与通用能力保留间达到最佳平衡。 在Qwen3上评估MoE²-LoRA权重级重构后，通过将其旁路池移入原生专家权重，四个上游端点指标提升2.4至17.9分。该重构减少了17%的可训练参数，平均下游性能代价为3.2分。
来源：arXiv · NLP · arxiv.org