工作记忆启发的大模型追踪探针发布

研究人员Dengzhe Hou等人发布了一种受工作记忆启发的累积状态追踪大语言模型可编程探针（WMIP）。该探针通过程序计算答案，支持3至100次更新，并涵盖最终状态、中间状态或多目标查询。 研究团队评估了18个大语言模型在3至100次更新下的累积状态追踪能力。结果显示，模型在单步算术准确率为84.9%，但在核心任务（3-7次更新）中仅达31.7%。随着更新次数增加至50次，准确率降至10%以下，表明单步能力并不保证累积追踪的可靠性。 为支持可重复性比较，研究人员公开了生成器、测试项、评分代码及模型响应。这些资源允许在不同深度、查询类型和协议下进行跨模型的公平评估，为理解大模型状态追踪机制提供了基准。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。