ToMStories数据集发布评估模型心理理论

1. 12:00
   arXiv · NLP

   ToMStories：在合成叙事中解读心理理论

   研究提出 ToMStories 数据集，包含约 6,000 个合成叙事片段，用于评估语言模型推断角色隐性心理状态的能力。 测试 13 个 1B-72B 参数的开源模型发现，最大模型在多选题上与人类表现持平，但在开放题上表现落后。 分析表明合成数据虽能辅助理解模型解读机制，但可能高估了模型解读真实人类意图的能力。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。