跳到正文
arXiv · AI· Xianglong Shi, Ruijie Yang, Sirui Zhao, Shukang Yin, Zihao Bian, Tinghao Yi, Enhong Chen·· 14 小时前AI 评分31

LSTMem: 面向大语言模型的分层长短期在线记忆

LSTMem: Hierarchical Long Short-Term Online Memory for Large Language Models

AI 导读

提出LSTMem,一种受LSTM启发的在线记忆模块,为冻结LLM每层配备细胞状态与隐藏状态,在Qwen3-4B-Instruct上提升MemoryAgentBench、LoCoMo和HotpotQA成绩。 LSTMem通过门控机制分离记忆积累与表达,并利用跨层前向传播与高层重建梯度优化下层状态,优于基于联想记忆的对照方案。 代码已开源。

来源:arXiv · AI · arxiv.org