arXiv · AI· Yuexi Pan, Yongchao Chen·· 24 天前AI 评分21
SciValidityBench 评估科学智能体记忆中的决策有效性
The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory
AI 导读
SciValidityBench 提出评估科学智能体记忆决策有效性的基准,包含 64 个 TaskSpecs,覆盖 5 个有效性模块和 6 个科学领域。 该基准通过 SciStateForge 编译器生成决策状态,实验显示编译状态比通用 Event Graph 提升 9.2-18.8 个百分点。 记忆评估重点从检索正确事实转向判断该事实是否应控制当前决策。
来源:arXiv · AI · arxiv.org