arXiv · ML· Yanis Merzouki, Coral Izquierdo, Matei Ignuta-Ciuncanu, Marcos Gomez-Bracamonte, Riccardo Maggioni, Alessandro Lombardi, Camilla Mazzoleni, Federico Martelli, Balazs Gunther, Jonas Petersen, Philipp Petersen·· 2026-10-12AI 评分39
FactoryBench: 工业机器理解基准
FactoryBench: Evaluating Industrial Machine Understanding
AI 导读
FactoryBench 提出用于评估时序模型和 LLM 工业机器理解的基准,基于 Pearl 因果阶梯组织问答对。零样本测试显示六款前沿 LLM 在结构化层级得分均不足 50%,决策层级低于 18%。 该基准基于约 15k 归一化 episode,包含 7 万余条问答项,结合 FactoryWave 等数据集。
来源:arXiv · ML · arxiv.org