跳到正文
arXiv · ML· Shih-Cheng Huang, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun·· 2026-10-07AI 评分34

αTransfer 提出基于代理模型的系数迁移,实现高效模型合并

$\alpha$Transfer: Coefficient Transfer for Efficient Model Merging

AI 导读

αTransfer 利用同族模型合并系数性能分布相似性,在小代理模型搜索最优系数并迁移至大模型。 在视觉 Transformer 上实现 6 倍加速、70% 内存节省,在大语言模型上实现 20 倍加速、85% 内存节省。 该方法在保持性能可比的情况下,确立了扩展模型合并的高效且具泛化性的路径。

来源:arXiv · ML · arxiv.org