跳到正文
arXiv · ML· Muqing Liu, Chongjie Si, Zhuoya Liu, Yuheng Jia·· 2026-10-14AI 评分21

PGSB:用于 LoRA 模型合并的预训练引导共享基

PGSB: Pretrained-Guided Shared Basis for LoRA Model Merging

AI 导读

提出 PGSB 框架,通过识别任务间共享方向并结合预训练权重重新参数化,提升 LoRA 模型合并效果。 PGSB 采用两阶段方法,先找出任务特异性 LoRA 更新中的共享方向,再计算其与预训练权重的相互作用以生成更优合并基。 实验表明 PGSB 在多个基准测试中持续优于现有最先进方法,代码已公开。

来源:arXiv · ML · arxiv.org