arXiv · AI· Bing Wang, Mingyang Wang, Yuanhang Mi, Yue Xu, Kaibo Su, Li'ang Xiao, Chunguo Wu, Changchun Li, Ximing Li, Kun-Feng Qiu, Bo Yang·· 4 天前AI 评分25
MineralExp: 评估 LLM Agent 在真实地质勘探中实验设计能力的基准
MineralExp: Benchmarking LLM Agents for Experimental Design in Real-World Mineral Exploration
AI 导读
基准 MineralExp 将地质假设转化为基于实验的选择问题,包含 277 个案例和 1,572 个参考计划,用于评估 LLM Agent 的实验设计能力。 该基准将 19 种实验类型分类到五种矿物体系过程中,通过多标签分类和 LLM 评判进行评分。实验结果显示,当前 LLM Agent 通常具有高召回率但低精确率,倾向于提出比必要的更多实验。
来源:arXiv · AI · arxiv.org