Hugging Face 发布 StateBench 基准测试

2026年11月4日，Hugging Face 正式发布 StateBench 基准测试及技术报告。该基准旨在评估语言模型在长文档中追踪实体状态变化的能力，即长上下文状态追踪。测试设计了四个难度级别，以考察模型在信息随时间演变时的表现。 evaluated 前沿模型包括 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 与 Luna。研究发现，随着输入长度的增加，这些模型在复杂状态追踪问题上的准确率急剧下降，最低已降至 13% 以下，暴露出当前模型在处理长依赖状态时的显著局限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。