arXiv · NLP· Chirag Goel, Jacob Lavoie, Amirhossein Naghshzan, Jordan Bannister, Marzia Nouri, Mehar Bhatia, Matt Harris, Siva Reddy, Ars\`ene Fansi Tchango, Ga\'etan Marceau Caron·· 3 天前AI 评分28
HEAMS:全面评估智能体记忆系统
HEAMS: Holistic Evaluation of Agent Memory Systems
AI 导读
开源框架 HEAMS 提出全面评估智能体记忆系统的方法,涵盖性能、效率、安全、隐私及用户主权维度。 其基准测试显示,高任务性能可能与较差的隐私和安全得分共存,治理策略(如召回与保留)能显著影响对抗投毒的效果。 仅靠性能和效率指标无法揭示记忆系统在履行责任方面的全貌。
来源:arXiv · NLP · arxiv.org