循环Transformer研究：权衡优化与并行推理进展

2026年10月30日，一项关于循环Transformer的研究在arXiv发布，聚焦于参数预算、训练FLOPs与推理效率的权衡。研究基于1B参数模型进行32次循环实验，发现全模型循环在参数约束下表现最强，而中间层循环在FLOPs受限场景下收益更优。 研究团队引入低秩适配器以改善深层循环的性能，并提出并行循环Transformer架构，旨在解决串行解码导致的推理减速问题。实验表明，需采用特定的嵌入保留策略，才能有效恢复并行推理后的模型质量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。