多任务模型合并中的误差子空间校准方法 ESCal

研究人员提出误差子空间校准（ESCal）框架，通过识别专家模型与合并模型权重差异中的低维误差子空间，进行合并后校准以减小性能差距。 该机制在每个中间块边界利用桥接模块将表示投影至误差子空间，仅学习线性映射以保持参数效率，子空间基保持不变。 实验显示，ESCal 使用少量校准集即可在视觉和自然语言理解基准上提升多种架构及合并方法的性能，使合并模型在表示和预测上更接近专家模型。