Yuekun Yao 团队发布全开源循环 Transformer 架构 ARLoop

2026年11月4日，Yuekun Yao 等人在 arXiv 发布论文，提出基于注意力残差的循环 Transformer 架构 ARLoop，并公开了 1.2B 参数规模的预训练模型。 该模型仅使用 0.5T tokens 数据且包含 3 次循环机制，在评估任务中全面超越了目前唯一全开源循环大语言模型 Huginn-3.5B，同时在数据量大幅少于 Qwen3.5-2B 的情况下保持了竞争力。 论文指出，ARLoop 相比现有循环 Transformer 残差设计具有一致性优势，且滑动窗口深度注意力在大递归深度下表现不逊于全历史注意力机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。