跳到正文
arXiv · AI· Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal·· 16 小时前AI 评分30

MINTEval:评估长时程智能体系统中多目标干扰下的记忆能力

MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems

AI 导读

研究人员提出 MINTEval 基准,用于评估干扰密集场景下记忆增强型智能体在长时程多目标交互中的表现。 该基准包含 15.6k 问答对,上下文平均 138.8k tokens,最长达 1.8M tokens,覆盖状态跟踪、多轮对话等四个领域。 测试显示,7 种代表性系统(包括 RAG 和记忆框架)平均准确率仅 27.9%,主要受限于检索与记忆构建。

来源:arXiv · AI · arxiv.org