Transformer 语言建模中的 Runway 级联与感知重连

论文提出 runway-aware rewiring 机制，通过基于 runway 景观总结的重连注意力模式，解决 decoder-only Transformer 中直接路径与间接路径信息传播的错位问题。 该方法不增加额外参数，可直接集成至标准注意力机制。实验显示重连 Transformer 在通用语言建模、信息检索及外推能力上均优于标准模型。