研究者发表Dynamical Memory Transformer架构论文
热点事件持续更新
研究者发表Dynamical Memory Transformer架构论文
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月30日,Yannis Bendi-Ouis和Xavier Hinaut在arXiv发表题为“Dynamical Memory Transformer”的论文。该架构通过动态系统实现记忆单元,将序列编码与信息读取分离。 DMT在推理时采用固定大小的递归状态和卷积缓存,使注意力计算复杂度降低至O(T)。在多项认知任务中,其表现优于同类架构,长度外推能力也更强。 语言建模方面,DMT的表现接近传统Transformer,但略弱于Mamba。该研究在arXiv的cs.AI领域发布,文件大小约996KB。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
Dynamical Memory Transformer:具有恒定成本注意力的选择性循环记忆报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · AIDynamical Memory Transformer:具有恒定成本注意力的选择性循环记忆
DMT 提出混合架构,将序列编码与信息读取分离,通过动态系统实现的记忆单元进行编码。 其推理时递归状态和卷积缓存大小固定,注意力计算复杂度为 O(T)。 在多项认知任务中表现最佳,语言建模接近 Transformer 但弱于 Mamba,且长度外推能力更强。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。