arXiv · AI· Devin Yasith De Silva, Dhaval Patel, Christodoulos Constantinides, Shuxin Lin, Nianjun Zhou, Dharmashankar Subramanian, Paul J Adams, Sal Rosato, Nicolas Constantinides, Deborah L. McGuinness, Jayant Kalagnanam·· 1 天前AI 评分38
DiagnosticIQ 工业维护大模型基准测试发布：6,690道题目揭示前沿模型在规则转行动环节的脆弱性
DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules
AI 导读
DiagnosticIQ 基准包含 16 类资产、6,690 道多选题，并测试了 29 个大模型和 4 个嵌入基线。 测试发现，前沿大模型在常规检测中表现相近，但在干扰项扩展和条件反转下准确率下降超 60%，且 63% 错误保留，表明其缺乏深度专业推理能力。
来源：arXiv · AI · arxiv.org