Hugging Face Blog·· 2 小时前精选AI 评分72
StateBench：测试语言模型在长文档中追踪状态变化的基准
StateBench: Testing how language models track state changes over long documents
AI 导读
StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试，通过四个难度级别测试模型在信息随时间演变时的表现。研究发现，在复杂状态追踪问题上，前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降，最低降至13%以下。
推荐理由
研究团队构建StateBench基准测试语言模型长文本状态追踪能力，发现前沿模型在复杂任务中准确率大幅下降，为架构选择提供依据。
来源：Hugging Face Blog · huggingface.co