跳到正文
热点事件持续更新

Graph Memory Transformer (GMT)架构提出

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月23日,Nicola Zanarini等研究者提出图记忆Transformer(GMT)架构。该架构核心是用显式学习记忆图替换decoder-only模型中的FFN子层,保留因果自注意力机制。 GMT v7版本包含82.2M可训练参数,无密集FFN层。每个Transformer块使用128个质心和128x128边矩阵,通过引力源路由返回门控位移而非检索值,实现了基于学习记忆图的高效表示路由。

AI 根据报道生成 · 2 小时前更新

最新进展10月23日 12:00
图记忆 Transformer (GMT) 研究

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · NLP
    图记忆 Transformer (GMT) 研究

    该研究提出图记忆 Transformer (GMT),用显式学习记忆图替换 decoder-only 架构中的 FFN 子层,保留因果自注意力。 GMT v7 版本含 82.2M 可训练参数,无密集 FFN 层,每个 Transformer 块使用 128 个质心和 128x128 边矩阵,通过引力源路由返回门控位移而非检索值。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。