跳到正文
arXiv · NLP· Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan·· 8 小时前AI 评分32

长期记忆 Agent 的记忆基质统一评测:无单一最优方案

Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents

AI 导读

该研究构建了包含 26 项指标的统一评测体系,在受控环境下对比了 11 种长期记忆 Agent 记忆基质,并得出没有单一基质能持续主导所有场景的结论。 实验覆盖稠密索引、文本记录等类别,使用 3 个骨干模型在 4 个基准套件上评估。结果表明宽泛检索利于长上下文事实问答,但会损害顺序决策性能。

来源:arXiv · NLP · arxiv.org