arXiv · AI· Alina Avanesyan, Alexey Boldyrev, Liqun Deng, Denis Derkach, Mary Godunova, Mikhail Hushchyn, Dmitry Ilvovsky, Irina Knyazeva, Irina Piontkovskaya, Dmitry Polubotko, Fedor Ratnikov, Ekaterina Trofimova, Zhenhe Zhang·· 13 小时前AI 评分45
STEMBench 基准发布:评估大模型在博后级自然科学问题上的表现
Benchmarking LLM abilities on postdoc-level natural science problems
AI 导读
STEMBench 基准发布,涵盖高能物理等 12 个博后级科研问题。 每个问题采用领域特定的“功绩标准”评分,并配备无领域知识提交与专家参考两个锚点。 测试 8 个前沿模型显示,任务级胜出与领域级领先出现分离,部分模型平均分在 12 题中的 7 题超过专家锚点。
来源:arXiv · AI · arxiv.org