跳到正文
arXiv · AI· Navapat Nananukul, Mayank Kejriwal·· 17 天前AI 评分29

大语言模型医学推理能力评估:基准污染与模型规模对性能的影响

From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models

AI 导读

研究评估了6家头部供应商的14个模型在3076道医学题上的表现。 标准多选题中,最强模型在MedQA-USMLE和PubMedQA上超过人类专家基准,但小模型比大模型低8.7个百分点;隐藏选项后平均准确率从82.3%跌至50.9%,且最强模型能通过选项重构约1/4的问题。

来源:arXiv · AI · arxiv.org