跳到正文
arXiv · AI· Zhanghao Hu, Linhai Zhang, Qian Zhao, Qi Zhu, Yuan Hua, Di Liang, Jiasheng Si, Xin Zhao, Yulan He, Zhumin Chen, Lin Gui·· 16 天前AI 评分41

GroupAssistBench 提出真实场景群组记忆基准测试

One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough

AI 导读

研究提出首个基于真实群组对话的记忆基准 GroupAssistBench,包含 80,299 条消息和 50 个群组,标注成本超 53,000 美元。 该基准区分记忆召回(L1)和记忆使用(L2),针对分散及冲突记忆设置无固定答案的服务请求,并通过真实用户反馈调整评分标准。 评估显示最强记忆系统在召回上接近全上下文水平,但在使用上大幅落后,表明群组记忆系统需重点优化记忆使用而非仅提升召回率。

来源:arXiv · AI · arxiv.org