arXiv · AI· Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev·· 2026-10-12AI 评分26
ChemCost:评估 LLM 在化学成本推理中的表现
Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning
AI 导读
研究团队推出 ChemCost 基准,包含 1,427 个可评估反应和 226,1 种化学物质,用于测试 LLM 智能体在化学采购成本估算任务中的表现。 实验表明,最强智能体在干净输入下准确率为 50.6%,但在注入噪声后性能显著下降。故障分析显示,问题源于解析脆弱、证据整合低效及无效包装选择。
来源:arXiv · AI · arxiv.org