跳到正文
arXiv · NLP· Ayesha Gull, Muhammad Usman Safder, Rania Elbadry, Fan Zhang, Veselin Stoyanov, Preslav Nakov, Zhuohan Xie·· 6 小时前AI 评分26

EngTrace:一项面向工程推理可验证过程评估的符号基准

EngTrace: A Symbolic Benchmark for Verifiable Process Evaluation of Engineering Reasoning

AI 导读

EngTrace 发布了包含 150 个专家认证模板的符号基准,覆盖 5 大分支、15 个领域和 42 个子领域,通过金标准推理轨迹精确验证中间步骤。 其评估器主要在不使用 LLM 判定的情况下,检查最终答案、中间量覆盖率和算术展示,并在 11 个大语言模型上显示最终答案难以区分顶尖模型,而推导过程差异显著。

来源:arXiv · NLP · arxiv.org