LLM工具使用存在显著知行差距

Yize Cheng 等人发表新研究，提出基于模型经验性能的“模型自适应工具必要性”定义，旨在解决大语言模型在工具使用中的认知与执行断层问题。 研究对比发现，四个模型在算术任务中错误匹配率达 26.5% 至 54.0%，在事实问答中为 30.8% 至 41.8%。这表明模型在判断工具必要性时存在显著偏差。 通过分析隐藏状态，研究者发现驱动下一步动作的晚期层中，认知信号与执行信号几乎正交。绝大多数错配集中在从认知到行动的过渡阶段。 该结果表明，提升 LLM 工具使用可靠性，不仅需改进对工具必要性的识别，更需优化将该识别转化为实际调用行动的过程。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。