跳到正文
arXiv · ML· Ido Nitzan Hidekel, Dan Raviv·· 17 小时前AI 评分25

模型合并干扰预测与校正方法 LR-Merge

Watch Where You Linearize: Predicting and Correcting Model-Merging Interference

AI 导读

研究者提出 LR-Merge 方法,通过冻结接收模型局部响应构建代理模型,利用凸教师匹配优化合并系数,无需反向传播即可校正模型合并干扰。 该方法在视觉和语言模型实验中优于所有测试的闭式、各向同性及稀疏化基础合并器,收敛速度约为精确教师匹配的三分之一。

来源:arXiv · ML · arxiv.org