arXiv · NLP· Qiutong Tony Yi, Wang Bill Zhu, Robin Jia, Jesse Thomason·· 16 小时前AI 评分23
PDDL-Mind 揭示 ToM 基准测试主要考察算法状态追踪
Algorithmic Primitives of Theory of Mind Benchmarks
AI 导读
PDDL-Mind 通过神经符号方法发现，多种 ToM 基准测试实则在考察解析与算法状态追踪能力。 在 MMToM、MuMA 和 FanToM 测试中，将解析外推给程序使性能接近强 agentic pipeline，将状态追踪交给 PDDL 则让 GPT-4o 达到接近人类的表现。 这证明复杂的 ToM 基准主要惩罚大语言模型在状态追踪和解析算法上的不可靠性。
来源：arXiv · NLP · arxiv.org