arXiv · ML· Yixiao Qian, Yaxin Zhang, Song Chen, Jiaxu Liu, Shengze Cai, Chao Xu·· 8 小时前AI 评分29
Dual DeltaNet：面向线性注意力值侧记忆重组的方法
Dual DeltaNet: Value-Side Memory Reorganization for Linear Attention
AI 导读
Dual DeltaNet 提出双侧 delta 规则，扩展 Kimi Delta Attention (KDA) 以实现值侧记忆重组，在语言建模、零样本下游任务和检索任务中表现优于 KDA、GDN-2 和 Mamba-3。 该方法包含分块并行训练算法及 rank-2 递归推理机制，以提升算术强度，代码已开源。
来源：arXiv · ML · arxiv.org