跳到正文
arXiv · ML· Can Jin, Yan Kang, Yifan Gong, Chongjian Ge, Mingze Xu, Yuanjun Xiong, Dimitris N. Metaxas, Hongwu Peng·· 2026-10-14AI 评分29

ShellElastic:通过同时最大更新与超参数迁移实现可扩展弹性预训练

ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer

AI 导读

ShellElastic 提出一种弹性 Transformer,将隐藏维度组织为核心与外壳,使单次全宽前向传播包含所有子网络精确隐藏状态。 联合训练保持固定计算图,每步成本约为训练最宽子网络的成本。扩展参数化规则确保所有子网络同时最大更新,且超参数在小代理模型调优后对大模型仍接近最优。 单个运行产生的子网络在匹配参数量下优于 MatFormer 等基线。

来源:arXiv · ML · arxiv.org