arXiv · NLP· S M Mahbub Murshed·· 3 天前AI 评分27
StaleBench 隔离智能体记忆中的陈旧检索并量化修复成本
StaleBench: Isolating Stale Retrieval in Agent Memory, and Pricing the Fix
AI 导读
StaleBench 在 892 个真实更新事实中隔离陈旧检索失败,揭示检索指标可能反向评估记忆策略。 无日期展示时,保留策略与全保留对照组在首位返回相同陈述,但读者准确率分别相差 29.5 和 65.6 分;新增 Contamination@5 指标能正确区分策略优劣。 文章发布了数据、冻结评估器及参考基线,被 EACL 2027 Findings 接收。
来源:arXiv · NLP · arxiv.org