arXiv · AI· Le Qiu, Zhuan Anne Zhang, Hok Ming Adeline Chan, Emmanuele Chersoni·· 2026-10-14AI 评分28
LLMs 在香港建筑与工程领域消防安全规范解释中的基准评估
Towards a Benchmark for Fire Safety Code Interpretation in the Hong Kong AEC Industry
AI 导读
研究通过构建涵盖选择题与开放题的本地化基准数据集,评估了 12 个 LLM 在香港消防安全规范中的合规表现。 专有模型在选择题上准确率仅 80-90%,而开放题经专家评估准确率仅为 50-70%,表明 LLM 在专业合规任务中仍有较大改进空间。
来源:arXiv · AI · arxiv.org