跳到正文
arXiv · AI· Liyan Wang, Longze Li, Mohamed Hassan, Isshu Lee, Dajie Sun, Ruimin Feng, Aleksandar Vakanski·· 2 天前AI 评分38

NEBench R1:评估大语言模型核工程领域推理能力的基准

NEBench R1: a Reasoning Benchmark for Evaluating Nuclear Domain Competence in Large Language Models

AI 导读

研究引入核工程推理基准 NEBench R1,包含 7,546 道基于 NRC 执照考试的题目,评测 6 款 LLM 时准确率在 34.0% 至 73.9% 之间波动。 测试发现回答正确率与推理质量不匹配,且前沿推理模型中较长的推理链往往伴随着更低准确率,推理 token 消耗可作为不可靠信号。 该基准确立了评估大模型在核工程领域准确性与推理质量的方法,为衡量其领域能力与可靠性提供了基础。

来源:arXiv · AI · arxiv.org