arXiv · NLP· Chunkit Chan, Kawai Chung, Sze Heng Douglas Kwok, Yuxuan Liu, Yauwai Yim, Tianshi Zheng, Haochen Shi, Qing Zong, Wong Kai Chung, Pak Hin Lau, Calvin Yang, Yifan Gao, Xiaoman Pan, Ginny Wong, Simon See, Yangqiu Song·· 7 天前AI 评分21
MuSeToM:基于六种感官文本线索的信念修正多感官评估基准
MuSeToM: Multi-Sensory Evaluation of Belief Revision with Textual Cues Across Six Senses
AI 导读
MuSeToM 发布包含 2415 个实例的人机验证文本基准,用于评估大语言模型在理论推理中的认知信念修正能力。该基准改编自 BigToM 和 OpenToM,涵盖六种感官类别的文本线索,测试模型判断信念是否应修正及推断更新后状态的能力。 系统评估显示,模型常能检测到信念可能改变,但难以识别更新后的信念,且频繁基于感知显著但认知不足的线索进行过度更新。
来源:arXiv · NLP · arxiv.org