arXiv · ML· Pietro Buzzega, Riccardo Salami, Angelo Porrello, Simone Calderara·· 11 小时前AI 评分26
重新思考逐层模型合并：通过 Chain of Merges 解决分布偏移问题
Rethinking Layer-wise Model Merging through Chain of Merges
AI 导读
针对现有模型合并方法忽略层间依赖导致中间激活分布偏移的问题，论文提出新流程 Chain of Merges（CoM）。 CoM 通过逐层合并权重并利用一系列回归问题重新计算输入激活值来缓解协变量偏移，同时引入动态加权机制优先处理易性能下降的任务-层组合。 实验表明，CoM 在异构任务的标准基准上均取得了最先进（state-of-the-art）的性能表现。
来源：arXiv · ML · arxiv.org