arXiv · NLP· Christodoulos Constantinides, Dhaval Patel, Shuxin Lin, Claudio Guerrero, Sunil Dagajirao Patil, Jayant Kalagnanam·· 2026-10-14AI 评分36
FailureSensorIQ:评估 LLM 理解工业传感器关系与失效模式的 MCQA 基准
FailureSensorIQ: A Multi-Choice QA Dataset for Understanding Sensor Relationships and Failure Modes
AI 导读
FailureSensorIQ 是一个评估 LLM 工业 4.0 推理能力的多选择题(MCQA)基准。 该基准测试了 GPT-4、Llama 和 Mistral 等十余款模型,分析发现即使强推理模型也易受干扰且存在知识缺口。 论文提出了 LLMFeatureSelector 特征选择流水线,并在 Hugging Face 开放了排行榜。
来源:arXiv · NLP · arxiv.org