跳到正文
arXiv · NLP· Owen Bianchi, Samer Aslan, Ryunosuke Saito·· 4 小时前AI 评分30

DiaLong:长上下文对话中的记忆能力基准

DiaLong: Benchmarking Reminiscence in Long-Context Dialogues

AI 导读

Johns Hopkins University 团队发布 DiaLong,一个包含 100 段超长对话的长上下文基准,用于评估 LLM 的记忆保持与召回能力。该数据集通过 LLM 增强人工创作对话,任务要求模型对 40 个候选事实进行真假分类,以直接检测信息检索准确性。测试显示当前 LLM 及记忆增强方案表现不足,表明提升长对话中的记忆、连贯性与自然交互能力仍需大量工作。

来源:arXiv · NLP · arxiv.org