跳到正文
arXiv · AI· Shangge Liu, Danyue Qian, Qi Fan, Yinghuan Shi, Wenbin Li, Lei Wang, Yang Gao, Dacheng Tao·· 4 天前AI 评分20

模型合并中的通用代理正则化频谱框架

A Spectral Framework for Universal Proxy Regularization in Model Merging

AI 导读

提出模型合并通用代理正则化频谱框架,通过频谱覆盖(α)和泄漏(β)量化代理分布与其他任务分布的关系,推导统一参数干扰界。 框架研究三种实例化(Jacobian精确求值、Fisher信息矩阵曲率近似、输出漂移约束),证明其在NTK线性化下重合,并在CLIP模型上验证理论预测。

来源:arXiv · AI · arxiv.org