arXiv · NLP· Jiatong Li, Samuel Yeh, Sharon Li·· 3 天前AI 评分43
Multi-Head Recurrent Memory 提升长上下文循环记忆保留率
Multi-Head Recurrent Memory Agents
AI 导读
研究提出 Multi-Head Recurrent Memory (MHM) 框架,将记忆拆分为独立头以避免单块文本覆盖问题。 轻量版 MHM-LRU 在 896K tokens 的 RULER-HQA 基准测试中,将保留率从低于 30% 提升至 73.96%。 该方法无需训练,为长上下文可靠扩展提供了低成本架构优化路径。
来源:arXiv · NLP · arxiv.org