arXiv · NLP· Changyu Hu, Yiming Zou, Xin Tang, Yiru Pan, Zicheng Huang, Deng Zhao, Qing Cui, Zhenduo Zhang, Wang Ren, Xiao Li·· 10 天前AI 评分20
ChemInsight:评估大语言模型化学理解与推理能力的综合基准
ChemInsight: A Comprehensive Benchmark for Evaluating and Diagnosing Chemistry Understanding and Reasoning in Large Language Models
AI 导读
ChemInsight 基准显示,10 个大语言模型在化学任务上表现低迷,Scope 得分低于 30%,Depth 得分低于 11%。 该基准包含 203 道题目,组织为 50 个捆绑包,采用范围与深度二维评分系统。 这些分数远低于人类专家水平,突显了当前模型在化学符号语言建模上的局限。
来源:arXiv · NLP · arxiv.org