LSTM 风格循环 Transformer 与共享 KV 缓存

研究了一种结合 LSTM 风格循环与共享 KV 缓存的 Transformer 架构。 在 1024 宽度下，该模型比无权重绑定对照组少用 40.4% 参数，并将持续缓存集从 15 个减至 4 个。 通过一致性损失对齐并行训练与递归推理，消除了 81%–89% 的续传损失惩罚，且在低数据预算下优势更明显。