arXiv · NLP· Rubin Wei, Siyuan Sun, Hao Sun, Yuliang Liu, Xiang Shi, Jiarui Wang, Junming Zhang, Zhouhan Lin·2026-10-20 12:00· 4 小时前AI 评分26

Deep Fusion Memory：面向大语言模型的块级参数化记忆机制

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

AI 导读

提出 Deep Fusion Memory 架构，通过块级记忆预测与门控交叉注意力融合，无需在线检索即可引入外部知识。该机制在构造训练数据时，检索查询量减少 32 倍，检索条目减少 2048 倍；在 Mistral-7B-v0.3 上较最强基线提升 12.71%。

来源：arXiv · NLP · arxiv.org