arXiv · ML· Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven, Cees Snoek·· 2026-10-08AI 评分31
基于流形约束超连接的参数高效微调方法
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
AI 导读
该研究将流形约束超连接(mHC)应用于冻结骨干微调,发现动态残差路由能有效提升损失并减少可训练参数。 mHC将Transformer转变为输入依赖的多流残差架构,在不同变体中,仅学习子层如何访问流即可保留流混合效果。 这项结果识别出残差路由是基础模型高效微调和未来预训练中有前景的架构轴。
来源:arXiv · ML · arxiv.org