arXiv · AI· Jin Gene Wong, Anjney Midha, Joseph Mathew Tennyson, Wei-Lin Chiang, Ion Stoica, Zhi-Xun Shen·· 10 小时前AI 评分28
CME-SpectrumBench 评估 LLM 分析凝聚态光谱数据的能力
CME-SpectrumBench: Can LLMs Analyze Condensed Matter Spectral Data?
AI 导读
CME-SpectrumBench 是一个包含 190 道题目的专家设计基准,用于评估前沿 LLM 分析凝聚态实验(CME)级光谱科学数据的能力。 直接查询时,模型表现远逊于手写代码;允许使用 Python 解释器配合 ReAct 提示时,其表现与手写代码相当。代码和数据已公开。
来源:arXiv · AI · arxiv.org