arXiv · ML· Lo\"ic Cabannes, Pierre-Emmanuel Mazar\'e, Ilze Amanda Auzina, Th\'eo Le Pendeven, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Justin Carpentier, Gabriel Synnaeve, Herv\'e J\'egou·· 3 天前AI 评分27
稀疏 Delta 记忆(SDM):通过稀疏性扩展线性 RNN 状态
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
AI 导读
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
来源:arXiv · ML · arxiv.org