跳到正文
arXiv · NLP· Jiajun Tan, Fei Sun, Xinyu Ma, Shixuan Zhang, Du Su, Qi Cao, Daiting Shi, Huawei Shen, Xueqi Cheng·· 4 小时前AI 评分35

MemBubble 基准测试揭示 Agent 记忆如何影响 LLM 响应多样性

MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity

AI 导读

基于真实用户对话构建的 MemBubble 基准测试(1000 实例)显示,与直接提供完整交互历史相比,使用记忆机制时响应分布熵平均降低 34.7%。 该基准通过共享偏好类别保持主题相关性,测试多个 LLM 和记忆机制;研究发现简单的用户端干预和信息可用性变化无法有效弥合多样性差距。

来源:arXiv · NLP · arxiv.org