Transformer 中的广义信念状态：定义、解码与操纵方法

提出在 Transformer 等序列模型中定义、解码和操纵内部表示的广义信念状态方法，该状态满足预测充分性、递归更新和低维可视化三个标准。 方法将信念状态映射至模型内部激活与动态，并通过基于 HMM 的玩具 Transformer 模型进行验证，显示 KV cache 在其中起关键作用。