arXiv · AI· Ali Hatamizadeh, Yejin Choi, Jan Kautz·· 11 天前AI 评分21
Gated DeltaNet-2:线性注意力中解耦擦除与写入
Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
AI 导读
Gated DeltaNet-2 通过引入通道级擦除门控 b_t 和写入门控 w_t,解耦了线性注意力中记忆擦除与写入过程。 在 1.3B 参数规模、使用 100B FineWeb-Edu tokens 训练下,该模型在 Mamba-2、Gated DeltaNet 和 KDA 等对比基线中,于语言建模、常识推理及检索任务取得最优整体表现。
来源:arXiv · AI · arxiv.org