跳到正文
arXiv · NLP· Yuekun Yao, Yupei Du, Dawei Zhu, Huan Sun·· 5 小时前AI 评分41

ARLoop:采用注意力残差的全开源循环 Transformer

ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals

AI 导读

该论文提出基于注意力残差的循环 Transformer 架构 ARLoop,在 1.2B 参数规模上表现优异。 模型仅用 0.5T tokens 预训练且含 3 次循环,性能全面超越 Huginn-3.5B。 其数学与编程任务表现突出,且在数据量大幅少于 Qwen3.5-2B 的情况下仍具竞争力。

来源:arXiv · NLP · arxiv.org