图记忆 Transformer (GMT) 研究

该研究提出图记忆 Transformer (GMT)，用显式学习记忆图替换 decoder-only 架构中的 FFN 子层，保留因果自注意力。 GMT v7 版本含 82.2M 可训练参数，无密集 FFN 层，每个 Transformer 块使用 128 个质心和 128x128 边矩阵，通过引力源路由返回门控位移而非检索值。