arXiv · AI· Yannis Bendi-Ouis (Mnemosyne), Xavier Hinaut (Mnemosyne)·· 4 小时前AI 评分38
Dynamical Memory Transformer：具有恒定成本注意力的选择性循环记忆
Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention
AI 导读
DMT 提出混合架构，将序列编码与信息读取分离，通过动态系统实现的记忆单元进行编码。 其推理时递归状态和卷积缓存大小固定，注意力计算复杂度为 O(T)。 在多项认知任务中表现最佳，语言建模接近 Transformer 但弱于 Mamba，且长度外推能力更强。
来源：arXiv · AI · arxiv.org