跳到正文
热点事件持续更新

研究者发布BSTTT方法分析LLM ToM差距

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Prajvi Saxena等研究者发布论文,提出信念状态测试时训练(BSTTT)方法,旨在解析大语言模型(LLM)中显式心智理论与应用心智理论的能力差距及其可恢复性。2026年10月23日,该成果发布于arXiv的cs.AI板块。报道指出,LLM在ToM基准测试中的总分掩盖了显式认知与应用能力的差距。以SimpleToM测试为例,Llama-3.1-8B识别心理状态的准确率高达99.4%,但其行为预测准确率仅为28.9%,显示两者存在显著鸿沟。研究表明,针对Qwen2.5-7B等模型,结合BSTTT方法与提示技巧,可使Llama的行为预测准确率提升40.8个百分点。研究者建议,未来应分解报告显式与应用准确率,以更准确地评估模型的社会认知能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · AI
    解析 LLM 中显式心智理论与应用心智理论的能力差距

    LLM 在 ToM 基准测试中的总分掩盖了显式认知与应用能力的差距。SimpleToM 测试显示 Llama-3.1-8B 识别心理状态准确率达 99.4%,但行为预测仅 28.9%。 针对 Qwen2.5-7B 等模型,结合 BSTTT 与提示技巧可使 Llama 行为预测提升 40.8 个百分点。建议分解报告显式与应用准确率以准确评估模型社会认知能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。