Transformer 动力学理论：解释中间丢失现象

该研究通过因果自注意力动力学（解码器 Transformer 的玩具模型）严格解释“中间丢失”现象。 证明在独立同分布均匀 token 下，其限制相关方程有闭式解。 得出在明确小性条件下，token 检索分布呈 U 形：具有首要效应、近期效应及唯一的内部极小值。