How to Loop Your Transformer: 循环扩展、专业化与并行推理研究

研究循环 Transformer 在参数预算、训练 FLOPs 和推理效率下的权衡。基于 1B 参数模型和 32 次循环实验，发现全模型循环在参数约束下质量最强，中间层循环在 FLOPs 约束下收益更好。 引入低秩适配器提升深层循环质量，并提出并行循环 Transformer 以解决解码减速问题，需通过特定嵌入保留策略恢复性能。