arXiv · ML· Cheng Liang, Tengfei Zhang, Ya Zhang, Yanfeng Wang, Zhouhan Lin·· 4 小时前AI 评分31
UpLoop 提出零额外预训练算力的循环 Transformer 训练方法
UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute
AI 导读
UpLoop 通过 upcycling 训练循环 Transformer，最终参数、token 和 FLOPs 与标准基线完全一致。 该方法先训练浅层 Transformer，逐步复制层增加深度，用早期节省的算力支持共享中间块的重复执行。 在 1.3B 参数模型上，22 项下游任务平均分从 22.99 提升至 27.52，且强化数学推理能力。
来源：arXiv · ML · arxiv.org