arXiv · ML· Seokwon Jung, Alexander Rubinstein, Arnas Uselis, Sangdoo Yun, Seong Joon Oh·· 7 天前AI 评分27
MEME 基准定义多实体与演进记忆任务,发现现有系统在依赖推理上失效
MEME: Multi-entity & Evolving Memory Evaluation
AI 导读
LLM 智能体评测基准 MEME 定义了多实体与演进记忆六项任务,覆盖 Cascade、Absence 等此前未评分的依赖推理场景。 基于 100 个控制回合评估 6 种记忆系统,发现所有系统在默认配置下依赖推理准确率均低于 3%,静态检索性能良好但无法解决此问题。 文件代理结合 Claude Opus 4.7 部分弥合差距,但成本约为基线 70 倍,代码与数据已在项目页公开。
来源:arXiv · ML · arxiv.org