PAVE：通过知识感知任务向量净化缓解模型合并冲突

研究提出PAVE方法，利用知识感知子空间净化任务向量，以缓解模型合并因任务无关冗余导致的性能退化。 该方法通过采样训练数据获取线性层前协方差矩阵，执行上下文导向的奇异值分解，将权重拆分为任务相关与冗余成分并修剪冗余。PAVE作为即插即用方案，适用于多种基于任务向量的合并方法以提升性能。