arXiv · ML· Keyuan Luo, Yi Xie, Wanyun Ling, Yuanzhe Li, Ziyue Li, Zhuoqi Zeng·· 8 小时前AI 评分27
IMEP 与 ChainBench：视觉语言动作系统中记忆机制的干预式评估
Beyond Success Rate: Interventional Evaluation of Memory in Vision-Language-Action Systems
AI 导读
针对 VLA 系统成功率的局限性，研究提出 IMEP 协议及 ChainBench 基准，通过事实特异性干预评估记忆效用。 ChainBench 实验显示，完整记忆配置将任务成功率从 39.1% 提升至 74.3%，与 oracle-decision 条件表现一致。 ULP 干预改变了 11.9% 的结果，证明仅靠聚合成功率无法确认记忆系统是否真正利用任务相关事实。
来源：arXiv · ML · arxiv.org