PAVE：知识感知任务向量净化方法

研究团队提出知识感知的任务向量净化方法PAVE，旨在缓解模型合并过程中因任务无关冗余导致的性能退化。 该方法通过采样训练数据获取线性层前协方差矩阵，执行上下文导向的奇异值分解，将权重拆分为任务相关与冗余成分并修剪冗余。 PAVE作为即插即用方案，适用于多种基于任务向量的合并方法以提升性能。

AI 根据报道生成 · 36 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。