DiagnosticIQ 基准揭示 LLM 工业维护推理短板

Devin Yasith De Silva 等人发布了 DiagnosticIQ 基准，旨在评估大语言模型在工业维护“规则到行动”环节的决策支持能力。该基准包含 16 类资产和 6,690 道多选题，题目由 118 个专家撰写的规则-行动对生成，并测试了 29 个大模型及 4 个嵌入基线。 测试结果显示，前沿大模型在常规检测中表现相近，但在面临干扰项扩展和条件反转时，准确率下降超过 60%，且存在 63% 的错误保留率。这一结果表明当前 LLM 在深度专业推理方面存在显著脆弱性，缺乏应对复杂工业场景的稳健能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。