arXiv · AI· Zirong Xie, Zainab Afolabi, Nikita Kozodoi, Jack Butler·· 8 小时前AI 评分35
模型合并无需统一 LoRA 秩
Model Merging Does Not Require Uniform LoRA Ranks
AI 导读
研究证明模型合并中专家模型可采用不同 LoRA 秩，无需统一标准做法。 在 36 个专家、四个秩级别和三个模型规模上测试六种合并方法，按领域最佳秩分配最多提升 1.8 pp 多域精度；冲突消解方法不一致，最高损失 4 pp。 指令适配器因奇异值最小常被丢弃，致 IFEval 下降 16 至 25 pp；按损失效应选择组件可保留所有专家，在 8 倍秩范围内精度波动仅 0.7 pp。
来源：arXiv · AI · arxiv.org