arXiv · AI· Navapat Nananukul, Mayank Kejriwal·· 17 天前AI 评分29
大语言模型医学推理能力评估:基准污染与模型规模对性能的影响
From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
AI 导读
研究评估了6家头部供应商的14个模型在3076道医学题上的表现。 标准多选题中,最强模型在MedQA-USMLE和PubMedQA上超过人类专家基准,但小模型比大模型低8.7个百分点;隐藏选项后平均准确率从82.3%跌至50.9%,且最强模型能通过选项重构约1/4的问题。
来源:arXiv · AI · arxiv.org