Loopie：最强开源循环 Transformer 系列，含 20B MoE 模型

Loopie 是迄今最强大的开源循环 Transformer 系列，包含一个 20B 参数（2B 活跃）和一个 6B 参数（0.6B 活跃）的 MoE 模型。 与同等计算量的普通 30B-A3B 模型相比，Loopie 在消融研究中表现显著更优；通过新的后训练方法，该模型展现出强大的推理能力。 作为开源模型，Loopie 为在有限计算预算下实现前沿级推理性能提供了新的技术路径。