arXiv · NLP· Sen Gao, Yongan Li, Han Chen, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich, Shixuan Sun·· 6 小时前AI 评分30
MemDerive: 面向动态数据的智能体记忆诊断基准
MemDerive: A Diagnostic Benchmark for Agent Memory over Evolving Data
AI 导读
MemDerive 提出用于评估智能体记忆的诊断基准，包含 10 个场景、4,692 个事件和 1,503 个查询，通过 Datalog 推导精确答案及生成金标准推导 DAG。 该基准记录每个查询的支持事件和推导节点，测试记忆系统对隐式变化的传播能力。评估发现，在推导状态上，所有记忆系统均落后于简单的 BM25 检索，且多数失败源于未检索而非未存储。
来源：arXiv · NLP · arxiv.org