跳到正文
arXiv · NLP· Haiteng Wang, Haoze Li, Jingwei Guo, Jingbo Zhou, Si Liu, Lei Ren·· 3 天前AI 评分33

IndustrialKnowEval: 评估 LLM 多层级工业知识的基准

IndustrialKnowEval: A Benchmark for Evaluating Multi-Level Industrial Knowledge in LLMs

AI 导读

研究团队提出 IndustrialKnowEval 基准,包含 43,282 个样本,覆盖 7 个工业领域的 21 种任务类型。 该基准将认知需求分为记忆、理解、推理及工程应用四个层级,并对 18 个 LLM 进行了实验评估。 研究还提出了 ICCG 指标,旨在量化基础工业知识与高阶推理应用之间的性能差距,推动工业智能发展。

来源:arXiv · NLP · arxiv.org