arXiv · ML· Filippo Rinaldi, Aniello Panariello, Giacomo Salici, Simone Magistri, Angelo Porrello, Andrew D. Bagdanov, Simone Calderara·· 5 小时前AI 评分35
Ariadne：通过跨异构 Transformer 的功能迁移实现参数重定基
From Parameter Rebasin to Functional Transfer Across Heterogeneous Transformers
AI 导读
Ariadne 是一种免训练方法，通过匹配块上的激活变化而非参数形状，将任务特定行为从源模型迁移至异构 Transformer。 该方法使用局部 Procrustes 映射对齐效应，并通过闭式岭回归合成原生目标更新，在 Transformer 扩展、缩减及语言模型迁移中提升性能。 相比之前的跨架构重定基方法，Ariadne 显著减少了构建更新所需的计算时间和内存。
来源：arXiv · ML · arxiv.org