arXiv · AI· Prajvi Saxena, Sabine Janzen, Wolfgang Maass·· 4 小时前AI 评分31
解析 LLM 中显式心智理论与应用心智理论的能力差距
Diagnosing the Explicit-to-Applied Theory of Mind Gap in LLMs
AI 导读
LLM 在 ToM 基准测试中的总分掩盖了显式认知与应用能力的差距。SimpleToM 测试显示 Llama-3.1-8B 识别心理状态准确率达 99.4%，但行为预测仅 28.9%。 针对 Qwen2.5-7B 等模型，结合 BSTTT 与提示技巧可使 Llama 行为预测提升 40.8 个百分点。建议分解报告显式与应用准确率以准确评估模型社会认知能力。
来源：arXiv · AI · arxiv.org