arXiv · ML· Tian Xia·· 7 天前AI 评分38
Joint Null-Space Projection (JNSP) 实现无数据模型合并
Joint Null-Space Projection for Data-Free Model Merging
AI 导读
Joint Null-Space Projection (JNSP) 提出无数据模型合并方法,在 8 个 CLIP 图像分类任务上将 ViT-B/16 专家模型平均准确率提升至 89.45%,超越 TIES-Merging 11.88 个百分点。 该方法移除任务向量在其他任务子空间中的分量,无需前向传播,但在 RoBERTa-large 上表现低于纯任务算术。
来源:arXiv · ML · arxiv.org