arXiv · NLP· Zhenshuai Yin, Yongxin Guo, Mingda Zhang, Zhongze Luo, Haoyue Liu, Lianmin Zhang, Xiaoying Tang·· 3 小时前AI 评分21
从信念推理到任务行动：基于可验证任务的大语言模型心智理论多层次评估
From Belief Inference to Task Action: A Multi-Level Evaluation of Theory of Mind on Verifiable Tasks
AI 导读
该研究提出基于现有可验证任务的多层次评估框架，将家庭协作与日程调度任务扩展至非对称信息场景。评估涵盖世界理解、信念恢复、决策及执行六个独立层面。 实验结果显示模型在信念恢复与决策利用间存在显著偏差。Claude 能正确恢复所有代理信念，但在匹配调度任务中仅生成 67.9% 的主观最优计划。 该框架证实心智理论评估需结合独立验证的决策与任务结果，而非仅依赖故事问答。
来源：arXiv · NLP · arxiv.org