跳到正文
arXiv · ML· Zeman Li, Ali Behrouz, Yuan Deng, Praneeth Kacham, Rami Al-Rfou, Meisam Razaviyayn, Vahab Mirrokni·· 13 小时前AI 评分36

Toaster:基于级联线性记忆与目标传播的非线性记忆模型

Toaster: Nonlinear Memory from Cascaded Linear Memories and Target Propagation

AI 导读

Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。

来源:arXiv · ML · arxiv.org