跳到正文
arXiv · AI· Sanidhya Vijayvargiya, Rahul Lokesh·· 16 小时前AI 评分39

基于 LoRA 的 LLM 参数化记忆管理系统:实现用户记忆的持久与衰减

Some Memories Must Fade: Persistence and Decay of User Memories in Model Parameters

AI 导读

该研究提出基于 LoRA 的参数化记忆系统,在模型权重中直接管理用户记忆,实现 86% 的 Oracle 性能,优于 CL 和 RAG 基线。 系统采用固定容量的 k-hot LoRA 适配器结合轻量级策略控制器,通过独立的时间衰减机制,平衡长期事实保留与瞬时信息遗忘。 该工作建立了长期参数化记忆的基础,使 LLM 能够全生命周期管理用户知识,避免传统持续学习方法中无限保留信息的不可持续性。

来源:arXiv · AI · arxiv.org