Lafa：扩展至 8B 参数的快速高效连续流语言模型

Lafa 是一款扩展至 8B 参数的快速连续流语言模型，采用块状流架构与因果注意力机制，支持前缀缓存及块状并行解码。 该模型通过少于 30B tokens 实现高效训练，在指令遵循、推理及代码生成任务中表现优于或持平自回归模型。 Lafa 引入自推测解码方案，在同等质量下吞吐量达自回归模型的 2.54 倍，验证了连续流作为可扩展语言建模基础的潜力。