arXiv · NLP· Melanie Subbiah, Chia-En Jacklyn Tsai, Kathleen McKeown·· 16 小时前AI 评分30
ToMStories：在合成叙事中解读心理理论
ToMStories: Interpreting Theory-of-Mind in Synthetic Narratives
AI 导读
研究提出 ToMStories 数据集，包含约 6,000 个合成叙事片段，用于评估语言模型推断角色隐性心理状态的能力。 测试 13 个 1B-72B 参数的开源模型发现，最大模型在多选题上与人类表现持平，但在开放题上表现落后。 分析表明合成数据虽能辅助理解模型解读机制，但可能高估了模型解读真实人类意图的能力。
来源：arXiv · NLP · arxiv.org