arXiv · NLP· Zhichao Yang, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman·· 16 小时前AI 评分30
MedicalBench：评估大语言模型在医学概念提取中的表现
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
AI 导读
团队提出 MedicalBench 基准，结合 MIMIC-IV 出院小结与人工核实的 ICD-10 代码，系统评估大语言模型在隐含医学概念提取及证据定位上的表现。 该基准包含语义易混淆负样本及 LLM 与专家判断不一致的案例，旨在隔离推理难度而非笔记长度等表层混淆因素。 研究揭示当前最先进 LLM 性能仍较有限，为开发可解释且医学忠实的医疗语言模型奠定基础。
来源：arXiv · NLP · arxiv.org