跳到正文
热点事件持续更新

研究者发表Dynamical Memory Transformer架构论文

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月30日,Yannis Bendi-Ouis和Xavier Hinaut在arXiv发表题为“Dynamical Memory Transformer”的论文。该架构通过动态系统实现记忆单元,将序列编码与信息读取分离。 DMT在推理时采用固定大小的递归状态和卷积缓存,使注意力计算复杂度降低至O(T)。在多项认知任务中,其表现优于同类架构,长度外推能力也更强。 语言建模方面,DMT的表现接近传统Transformer,但略弱于Mamba。该研究在arXiv的cs.AI领域发布,文件大小约996KB。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · AI
    Dynamical Memory Transformer:具有恒定成本注意力的选择性循环记忆

    DMT 提出混合架构,将序列编码与信息读取分离,通过动态系统实现的记忆单元进行编码。 其推理时递归状态和卷积缓存大小固定,注意力计算复杂度为 O(T)。 在多项认知任务中表现最佳,语言建模接近 Transformer 但弱于 Mamba,且长度外推能力更强。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。