arXiv · ML· Tieyuan Chen, Huabin Liu, Yingtao Zhang, Shijie Li, Tengyu Pan, Weiyao Lin, Jianguo Li·· 6 小时前AI 评分26
UpLoop：通过门控循环对大语言模型进行后训练升级
UpLoop: Upcycling Large Language Models with Gated Loop
AI 导读
研究者提出名为 UpLoop 的后训练方法，基于层级循环对预训练非循环大语言模型进行升级。 该方法在注意力层和 MLP 残差支路添加隐藏层门控，避免循环过程中的功能空间失配，并在 20 个基准测试中使平均准确率提升 6.17%。 UpLoop 基于 Qwen3-4B Base 模型，在 R=3 的设定下取得最佳精度与成本平衡。
来源：arXiv · ML · arxiv.org