arXiv · ML· Ido Nitzan Hidekel, Dan Raviv·· 17 小时前AI 评分25
模型合并干扰预测与校正方法 LR-Merge
Watch Where You Linearize: Predicting and Correcting Model-Merging Interference
AI 导读
研究者提出 LR-Merge 方法,通过冻结接收模型局部响应构建代理模型,利用凸教师匹配优化合并系数,无需反向传播即可校正模型合并干扰。 该方法在视觉和语言模型实验中优于所有测试的闭式、各向同性及稀疏化基础合并器,收敛速度约为精确教师匹配的三分之一。
来源:arXiv · ML · arxiv.org