跳到正文
热点事件持续更新

UpLoop: 零额外算力训练循环Transformer新方法

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Cheng Liang 等研究者发布论文《UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute》，提出一种无需额外预训练算力的循环 Transformer 训练方法。该方法通过 upcycling 技术，先训练浅层 Transformer，再逐步复制层以增加模型深度，使最终参数量、token 数和计算量（FLOPs）与标准基线完全一致，并利用早期节省的算力来支持共享中间块的重复执行。 在 1.3B 参数模型上，该方法在 22 项下游任务中的平均得分从 22.99 提升至 27.52，同时显著强化了模型的数学推理能力。实验还表明，该方法在语言建模和下游性能上均有改进，但具体是否适用于其他模型规模或任务类型，报道中未提供进一步说明。

AI 根据报道生成 · 3 小时前更新

最新进展11月2日 13:00
UpLoop 提出零额外预训练算力的循环 Transformer 训练方法

报道时间线

沿着报道，了解事件的不同侧面。

11月2日
  1. arXiv · ML
    UpLoop 提出零额外预训练算力的循环 Transformer 训练方法

    UpLoop 通过 upcycling 训练循环 Transformer，最终参数、token 和 FLOPs 与标准基线完全一致。 该方法先训练浅层 Transformer，逐步复制层增加深度，用早期节省的算力支持共享中间块的重复执行。 在 1.3B 参数模型上，22 项下游任务平均分从 22.99 提升至 27.52，且强化数学推理能力。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月2日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。