Ariadne提出免训练跨异构Transformer功能迁移方法

Ariadne 是一种免训练方法，通过匹配块上的激活变化而非参数形状，将任务特定行为从源模型迁移至异构 Transformer。 该方法使用局部 Procrustes 映射对齐效应，并通过闭式岭回归合成原生目标更新，在 Transformer 扩展、缩减及语言模型迁移中提升性能。 相比之前的跨架构重定基方法，Ariadne 显著减少了构建更新所需的计算时间和内存。