ESCal框架：多任务模型合并的误差子空间校准方法

研究人员提出误差子空间校准（ESCal）框架，旨在解决多任务模型合并后的性能差距问题。该方法通过识别专家模型与合并模型权重差异中的低维误差子空间，在合并后进行针对性校准，从而让合并模型的表现更接近原始专家模型。 该机制的核心创新在于效率与精度的平衡。ESCal在每个中间块边界利用桥接模块将表示投影至误差子空间，仅学习线性映射，而保持子空间基不变。这种设计确保了模型在引入校准机制的同时，依然保持较高的参数效率。 实验结果验证了该方法的广泛适用性。ESCal仅需使用少量校准集，即可在视觉和自然语言理解等多个基准测试中提升多种架构及合并方法的性能。这表明该方法能有效缩小合并模型在表示和预测层面与专家模型的差距。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。