掩码扩散模型为何能缓解反转诅咒：理论分析

研究发现掩码扩散语言模型缓解反转诅咒源于前向与反向位置条件间的参数级耦合。 共享 Transformer 参数存储 token 对证据，相对位置编码在不改变检索价值证据的前提下路由注意力。 在一层模型中证明前向掩码训练可增强可复用于反向查询的证据，并诱导正对齐的共享存储梯度分量。